RAG Re-Ranking und Eval messbar machen

TL;DR

• Re-Rank-Lift: Cross-Encoder nach Initial-Retrieval heben die Top-5-Precision um 15–25 % — Latency-Add nur 200–500 ms.
• Eval-Pflicht: Ohne Recall@k, MRR und Faithfulness fliegt jeder Production-RAG im Blindflug — Drift bei Modell-Updates bleibt unentdeckt.
• Mittelstands-Setup: 50–100 expert-curated Q&A-Pairs als Gold-Standard plus monatliche Regression-Tests reichen für stabile Tracking-Disziplin.

Re-Ranking — was nach Retrieval kommt

Ein produktiver RAG-Stack liefert nach dem Vektor-Retrieval typisch Top-50 Dokumente, nicht Top-5. Der Grund: bi-encoder-basierte Vektor-Suche optimiert auf Recall, nicht auf Precision. Was die LLM-Antwort braucht, ist umgekehrt.

Ein Cross-Encoder liest Query und jedes Top-50-Dokument paarweise, bewertet die semantische Passung mit höherer Auflösung und sortiert auf finale Top-5. Latency-Add: 200–500 ms, Precision-Lift im Mittel 15–25 % auf Domain-spezifischen Eval-Sets. Ohne Re-Ranking landen irrelevante Chunks im Kontext-Fenster — das LLM halluziniert auf schwachem Material. Mit Re-Ranking wird das Kontext-Fenster kürzer, präziser, halluzinations-ärmer.

Wer Stage 2 weglässt, lässt 15–25 % Precision und damit 30–50 % Faithfulness-Lift auf der Straße liegen.

Cross-Encoder im Vergleich

Drei Cross-Encoder dominieren 2026 den Mittelstand-Markt: Cohere Rerank 3.5 (Managed-API), BGE-Reranker-v2-m3 (Open-Source) und Jina Reranker v2 (Managed + Self-Host). Die Wahl entscheidet sich an Latency, Cost und On-Prem-Tauglichkeit.

Der BGE-Reranker auf einer einzelnen L40S serviert rund 5.000 Reranks pro Minute zu vernachlässigbaren Strom-Kosten — der Hebel für DSGVO-strikten Mittelstand mit Volumen-Last. Managed-APIs (Cohere, Jina) rechnen pro Rerank ab und sind bei kleinem Volumen ohne eigene GPU der schnellere Einstieg.

Eval-Metriken die zählen

Eval teilt sich in zwei Welten: Retrieval-Metriken (gemessen ohne LLM-Call) und generative Metriken (gemessen am LLM-Output). Beide sind nicht-verhandelbar.

• Recall@k. Misst, ob das richtige Dokument unter den Top-k Treffern ist. Ziel für Production: Recall@10 > 90 %, Recall@5 > 80 %. Darunter ist Re-Ranking ein Pflaster auf ein systematisches Retrieval-Problem.
• MRR (Mean Reciprocal Rank). Belohnt die Position des richtigen Treffers — Rang 1 zählt 1.0, Rang 2 zählt 0.5, Rang 3 zählt 0.33. Production-Ziel: MRR > 0.7. Die Schlüssel-Metrik zur Bewertung der Re-Ranker-Qualität.
• Faithfulness. Misst, ob die LLM-Antwort ausschließlich durch die übergebenen Kontext-Dokumente belegt ist. Halluzinations-Indikator Nummer eins. Ragas-Skala 0–1, Production-Ziel > 0.85.
• Context-Precision. Misst, ob die übergebenen Top-k Dokumente tatsächlich für die Frage relevant sind. Komplementär zu Faithfulness — niedrige Context-Precision heißt: Das LLM bekommt Müll und antwortet trotzdem plausibel. Production-Ziel > 0.80.

Ein RAG-System ohne Eval ist eine Black-Box, die jeden Monat etwas anders antwortet — und niemand weiß, ob es besser oder schlechter geworden ist.

Gold-Standard aufbauen

Eval steht und fällt mit der Qualität der Test-Daten. Das Gold-Standard-Set ist die Investitions-Entscheidung am Anfang jedes RAG-Projekts — nicht das Modell, nicht der Vector-Store.

• 50–100 Q&A-Pairs als Floor. Für Mittelstands-RAG mit klar abgegrenztem Wissensbereich (interne QMS-Doku, Produkt-Handbücher, Compliance-Richtlinien) reichen 50–100 expert-curated Q&A-Pairs als statistisch belastbares Set. Darunter wird es zu volatil — einzelne Outlier verzerren Scores.
• Domain-Experten als Quelle. Q&A-Pairs werden nicht vom LLM generiert. Sie kommen aus dem Fach — Compliance-Officer, Regulatory-Manager, Senior-Service-Techniker. Aufwand: rund 2–4 Stunden pro Experte für 50 Pairs in einem strukturierten Workshop.
• Versionierung als Pflicht. Eval-Sets gehören in Git, nicht in eine Excel-Datei. Jede Erweiterung wird mit Commit-Hash referenziert; bei jedem Eval-Run wird die Git-SHA mit-geloggt. Ohne Versionierung ist Regression-Tracking unmöglich.

Tools: Ragas vs TruLens vs DeepEval

Drei Open-Source-Frameworks dominieren 2026 den Eval-Markt für Production-RAG. Die Wahl entscheidet sich an Integrations-Tiefe und Team-Stack.

Ragas als Default für die ersten drei Monate, DeepEval sobald CI-Pipelines stehen — diese Kombination deckt über 90 % der Mittelstands-Eval-Anforderungen ab. Alle drei sind Open-Source.

Was kontinuierlich überwacht werden muss

Production-RAG ist kein Set-and-Forget-System. Drei Drift-Vektoren tauchen in jedem Mandat auf — und alle drei werden ohne Monitoring systematisch übersehen.

• Retrieval-Drift. Neue Dokumente, gelöschte Dokumente, geänderte Chunking-Strategie verschieben Recall@k und MRR. Monatlicher Regression-Run gegen das Gold-Standard-Set ist Pflicht. Schwelle: MRR-Drop > 5 % → Alert.
• Hallucination-Rate. Modell-Updates (GPT-4o-mini → GPT-5, Claude Sonnet 4 → 4.5) verändern Faithfulness-Scores teils dramatisch. Ohne Eval-Pipeline fliegt das unter dem Radar. Schwelle: Faithfulness-Drop > 3 % → Eval-Set und Prompt prüfen.
• Latency-Drift. Vector-Store-Wachstum, Re-Ranker-Quota-Limits, Cold-Start-Effekte. P95-Latency-Tracking mit Grafana-Alerting. Schwelle: P95 > 4 s → Capacity-Review.

Praxis-Schritt: Ein 30-Min-Eval-Audit klärt, ob Ihr RAG-System monatlich gegen ein Gold-Standard läuft — oder ob Drift seit Wochen unentdeckt mitläuft. Erstgespräch anfragen → /anfrage

Stand Mai 2026. Reranker-Modelle, Eval-Frameworks und Best-Practices ändern sich quartalsweise — diese Übersicht wird entsprechend aktualisiert.