TL;DR. Naives RAG ist abgelöst. „Text zerstückeln, einbetten, die Top-Treffer ins Kontextfenster kippen“ liefert mittelmäßige Ergebnisse, der Standard ist heute mehrstufig. Auch der Mythos „das große Kontextfenster macht RAG überflüssig“ stimmt nicht: Fenster mit einer Million Token sind real, verlieren aber Inhalte in der Mitte und kosten je Anfrage ein Vielfaches. Gute Wissensbasen brauchen 2026 Hybrid-Suche und Reranking als Minimum. Das ist der größte Hebel für ein internes KI-System, das verlässliche Antworten gibt.
Worum es geht
Die meisten Anwendungsfälle für KI im Mittelstand laufen früher oder später auf dieselbe Sache hinaus: eine interne Wissensbasis, die zuverlässig Fragen beantwortet, aus Verträgen, Handbüchern, Tickets und E-Mails. Die Technik dahinter heißt RAG (Retrieval-Augmented Generation). Statt das Modell raten zu lassen, ruft man passende Dokumente ab und gibt sie ihm als Kontext mit. Das Prinzip ist einfach. Die Umsetzung hat sich in den letzten zwei Jahren stark weiterentwickelt. Wer noch das Lehrbuch-RAG von 2023 baut, lässt Qualität liegen.
Was „naives RAG“ ist, und warum es nicht reicht
Die erste Generation funktionierte so: Dokumente in Stücke schneiden, jedes Stück in einen Vektor einbetten, bei einer Frage die ähnlichsten Stücke heraussuchen und ins Kontextfenster legen. Das liefert brauchbare Demos und enttäuschende Produktion. Zwei Schwächen sind typisch. Die reine Vektorähnlichkeit verfehlt exakte Begriffe wie Artikelnummern, Eigennamen oder Fehlercodes. Und die abgerufenen Stücke sind oft ähnlich, aber nicht die relevantesten.
Der Standard 2026: mehrstufiger Abruf
Produktionsreife Wissensbasen kombinieren heute mehrere Techniken:
- Hybrid-Suche. Semantische Vektorsuche plus klassische Stichwortsuche (BM25), deren Ergebnisse zusammengeführt werden. So findet das System sinnverwandte Treffer und exakte Begriffe.
- Reranking. Ein zweites, spezialisiertes Modell sortiert die Kandidaten neu nach echter Relevanz, bevor sie ins Kontextfenster gehen. Dieser Schritt hat das beste Verhältnis von Aufwand und Wirkung.
- Kontext anreichern. Anthropics „Contextual Retrieval“ stellt jedem Textstück eine kurze, generierte Einordnung voran, aus welchem Dokument und welchem Abschnitt es stammt. In Anthropics Messung sinkt die Fehlerrate beim Abruf damit um 49 %, mit Reranking um 67 %.
- GraphRAG. Bei stark vernetztem Wissen (wer gehört zu was, was hängt woran) hilft ein Wissensgraph statt reiner Textstücke, um Fragen zu beantworten, die mehrere Quellen verbinden.
Fehlerrate beim Abruf, Top-20-Treffer
Reranking und Retrieval 2026: was der Stand der Technik wirklich ist
Die Landschaft der Reranker ist groß, aber gut vermessen. In der öffentlichen Rangliste von Agentset (Stand 15. Februar 2026) liegen zerank-2 von ZeroEntropy und Cohere Rerank 4 Pro fast gleichauf vorn, Voyage rerank-2.5 folgt mit kleinem Abstand. Für den Betrieb auf eigener Hardware und strenge Datenschutzanforderungen haben sich offene Modelle wie bge-reranker-v2-m3 und Jina Reranker v2 etabliert. Zur Einordnung: Das sind Ranglisten von Anbietern und Community, keine begutachteten Studien. Auf dem eigenen Bestand nachzumessen, bleibt Pflicht.
Eine eigene Klasse bilden Late-Interaction-Modelle wie ColBERT. Statt ein Dokument in einen einzigen Vektor zu pressen, speichern sie einen Vektor pro Token und vergleichen feinkörnig. Das war lange ein Forschungsthema. Inzwischen ist es im Betrieb angekommen: Die Vektordatenbank Qdrant unterstützt mehrere Vektoren je Dokument von Haus aus, ColBERTv2 mit PLAID hat gezeigt, dass es skaliert, und die ECIR 2026 hat dem Thema einen eigenen Workshop gewidmet.
Auch vor dem Reranking hat sich etwas bewegt. Beim Late Chunking wird erst das ganze Dokument eingebettet und dann geteilt, damit jedes Stück den Kontext des Dokuments behält. Jina bietet das in seinen Embedding-Modellen direkt an. Matryoshka-Embeddings erlauben kürzere Vektoren, also weniger Speicher im Index, bei geringem Qualitätsverlust. Und multimodale Modelle wie Cohere embed-v4 betten Text und Bilder in denselben Raum und ersetzen zunehmend getrennte OCR-Strecken.
GraphRAG: wann der Graph sich lohnt, und wann nicht
GraphRAG hatte lange ein Kostenproblem. Beim Indexieren zieht ein Sprachmodell aus jedem Dokument Entitäten und Beziehungen heraus. Das ist mächtig, aber teuer. Genau hier setzt Microsofts LazyGraphRAG an: Es verschiebt die Arbeit des Sprachmodells vom Indexieren in die Abfrage. Laut Microsoft Research kostet das Indexieren damit so viel wie bei gewöhnlichem Vektor-RAG, etwa 0,1 % des vollen GraphRAG. Die Technik ist über Microsoft Discovery verfügbar. Im offenen Paket GraphRAG (aktuell Version 3.3.0 vom Oktober 2026) stecken Bausteine davon, ein eigener LazyGraphRAG-Modus ist dort nicht ausgewiesen. Daneben gibt es Alternativen wie LightRAG oder Graphiti von Neo4j.
Damit fällt das Kostenargument gegen den Graph weitgehend weg. Die Architekturfrage bleibt:
- Der Graph lohnt sich, wenn Fragen mehrere Quellen über Beziehungen verbinden müssen (wer liefert an wen, was hängt woran), wenn „globale“ Fragen über den ganzen Bestand beantwortet werden sollen, etwa Trends und Zusammenfassungen, oder wenn nachvollziehbare Beziehungsketten gefordert sind, etwa für Compliance.
- Der Graph ist zu viel beim klassischen Nachschlagen („Was steht in Vertrag X zu Kündigungsfristen?“), bei kleinen Beständen und bei schnell wechselnden Daten, weil der Graph bei jeder Änderung nachgezogen werden muss.
Faustregel: erst die Grundlage aus Hybrid-Suche und Reranking bauen und messen. Der Graph ist der nächste Schritt, wenn Antworten genau daran scheitern, Wissen aus mehreren Dokumenten zu verknüpfen.
Der Mythos vom Riesen-Kontextfenster
Eine beliebte These lautet: „Modelle mit einer Million Token Kontext brauchen kein RAG mehr, man wirft einfach alles rein.“ Die Wirklichkeit ist differenzierter. Große Kontextfenster sind real und nützlich, die aktuellen Claude-Modelle verarbeiten eine Million Token zum normalen Preis. Aber Modelle leiden unter dem „Lost in the Middle“-Effekt: Inhalte am Anfang und Ende des Kontexts werden zuverlässiger genutzt als die in der Mitte. Wer wahllos alles hineinschüttet, bekommt schlechtere Treffer und zahlt für jedes Token.
Wie groß der Kostenunterschied ist, zeigt eine einfache Rechnung mit Claude Sonnet 5.5 bei 2 $ je Million Input-Token:
Kosten je Anfrage, eigene Rechnung
Ohne Cache ist der gezielte Abruf rund 60-mal günstiger. Mit Cache schrumpft der Abstand auf etwa das Dreifache, die Qualitätsfrage bleibt aber. Das Produktionsmuster ist deshalb weiterhin „erst abrufen, dann nachdenken“: zuerst gezielt die passenden Stücke holen, dann das Modell darüber arbeiten lassen. Das große Kontextfenster ersetzt den Abruf nicht. Es ergänzt ihn, etwa wenn ein einzelnes langes Dokument vollständig gelesen werden muss.
Neu: Abruf als Werkzeug des Agenten
Die jüngste Entwicklung verbindet RAG mit Agenten. Statt einmal vorab abzurufen, wird die Suche als Werkzeug bereitgestellt, das der Agent bei Bedarf mehrfach aufruft: nachfragen, verfeinern, nachschlagen, bis die Antwort steht. Man nennt das Agentic RAG. Für komplexe Fragen mit mehreren Schritten ist das ein deutlicher Qualitätssprung gegenüber dem einmaligen Abruf der besten Treffer.
Agentic Retrieval: der eigentliche Sprung
Dieser Wandel hat inzwischen ein eigenes Forschungsfeld: Deep Research. Eine Übersichtsarbeit zu autonomen Recherche-Agenten beschreibt das Kernmuster. Der Agent zerlegt eine Frage in Teilfragen, formuliert Suchanfragen, bewertet die Treffer, formuliert um und ruft erneut ab, bis die Beweislage steht. Suchverfahren und Reranker werden dabei vom fest verdrahteten Schritt zum Werkzeugkasten, aus dem der Agent je nach Frage wählt. Gemessen wird das mit eigenen Benchmarks wie DeepResearch Bench (Treue des Berichts, Genauigkeit der Zitate) oder BrowseComp (Recherche im offenen Web).
Die Infrastruktur dafür ist standardisiert. Über das Model Context Protocol werden Suchsysteme als Werkzeuge angebunden, die jeder Agent gleich aufruft. Die Wissensbasis wird so ein Baustein unter mehreren, mehr dazu in unserem Beitrag zu MCP als Industrie-Infrastruktur. Die Abgrenzung: RAG beantwortet „Was haben wir indexiert?“, ein Live-Werkzeug „Was ist jetzt der Stand?“. Gute Agentensysteme brauchen beides. Auch der neue Engpass ist beschrieben: Dutzende Werkzeuge verstopfen den Kontext des Agenten mit ihren Beschreibungen. Die Forschung antwortet mit Abruf über die Werkzeuge selbst, etwa mit ScaleMCP. Abruf ist damit keine Stufe in einer Kette mehr, sondern eine Fähigkeit des Systems.
Häufige Fragen zu RAG 2026
Ist RAG tot?
Nein, gestorben ist nur das naive RAG von 2023. In der Produktion hat sich die Frage verschoben: nicht ob Abruf, sondern wie, mehrstufig, mit Hybrid-Suche, Reranking und zunehmend agentisch. Wissensbasen über private, aktuelle Dokumente funktionieren ohne Abruf schlicht nicht.
RAG oder großes Kontextfenster: was ist wirtschaftlicher?
Für wiederkehrende Anfragen gegen einen großen Bestand der gezielte Abruf. In unserer Rechnung kostet eine Anfrage mit dem ganzen Bestand von einer Million Token 2,00 $, mit RAG 0,03 $. Selbst mit Cache bleibt der volle Kontext etwa dreimal so teuer. Das volle Kontextfenster lohnt sich bei kleinen, festen Beständen oder wenn ein einzelnes Dokument vollständig gelesen werden muss.
Wann brauche ich GraphRAG?
Wenn Antworten Wissen aus mehreren Quellen über Beziehungen verknüpfen müssen oder „globale“ Fragen über den ganzen Bestand gestellt werden. Für reines Nachschlagen ist der Graph zu viel. Das frühere Kostenargument trägt seit LazyGraphRAG kaum noch, die Indexierung liegt laut Microsoft Research auf dem Niveau von Vektor-RAG.
Welches Embedding-Modell sollte man 2026 wählen?
Etablierte Kandidaten sind etwa Gemini Embedding, die Qwen3-Embedding-Modelle für viele Sprachen und Cohere embed-v4 für Bestände mit Bildern. Ranglisten wie MTEB verschieben sich aber monatlich und übertragen sich nicht eins zu eins auf Ihre Daten. Entscheidend ist ein kleiner Test auf dem eigenen Bestand mit echten Fragen Ihrer Nutzer.
Brauche ich einen Reranker?
In der Produktion fast immer. Der übliche Aufbau ist Hybrid-Suche plus Reranking der besten 50 bis 100 Kandidaten. In Anthropics Messung senkt erst dieser Schritt die Fehlerrate von 2,9 auf 1,9 %. Gehostet sind Cohere Rerank 4, zerank-2 oder Voyage rerank-2.5 übliche Wahlen, auf eigener Hardware bge-reranker-v2-m3.
Was das für ein Projekt heißt
| Reifegrad | Aufbau |
|---|---|
| Lehrbuch (2023) | Vektorsuche, beste Treffer, ab ins Kontextfenster |
| Solide Grundlage (2026) | Hybrid-Suche (Vektor und Stichwort), Reranking, Kontext anreichern |
| Fortgeschritten | Agentic RAG mit wiederholtem Abruf und, bei vernetztem Wissen, GraphRAG |
Die gute Nachricht für den Mittelstand: Der Sprung von „nett, aber unzuverlässig“ zu „im Betrieb vertrauenswürdig“ ist kein Hexenwerk mehr. Er liegt in der Architektur, nicht in einem teureren Modell. Wer eine interne Wissensbasis ernsthaft betreiben will, plant Hybrid-Suche und Reranking als Minimum ein.
Ein Wort der Vorsicht: Genau diese Wissensbasis ist die größte Angriffsfläche für indirekte Prompt-Injection, also für fremden Text, den das Modell wie eine Anweisung behandelt. Was in die Wissensbasis darf, gehört deshalb geprüft. Wenn Sie eine interne Wissensbasis planen, sprechen Sie uns gern an.
