Output-Faithfulness und Drift-Detection

TL;DR

• Production-AI-Qualität degradiert über die Zeit — drei Drift-Ursachen 2026: Provider-Modell-Updates, Daten-Drift, Prompt-Erosion.
• Vier Detection-Patterns decken die Lücke: Golden-Set-Evaluation, LLM-as-Judge, Embedding-Drift, RAG-Citation-Coverage.
• Monitoring-Kadenz: Golden-Set täglich, LLM-Judge wöchentlich auf 1 %-Sample, Embedding-Drift monatlich — alles automatisiert, alles ge-alertet.

Drei Drift-Ursachen 2026

70–80 % der Mittelstands-Piloten zeigen nach 6–9 Monaten eine messbare Quality-Degradation — meist unbemerkt, bis ein Senior-Stakeholder den ersten Output ablehnt. Die Ursachen verteilen sich auf drei Klassen, die je einen eigenen Detection-Layer brauchen.

• Provider-Modell-Updates. Anthropic, OpenAI und Google tauschen Modell-Versionen unter dem gleichen API-Namen aus — claude-sonnet-4-5 Mitte 2025 ist nicht identisch mit claude-sonnet-4-5 Anfang 2026. Output-Verhalten ändert sich silent: Tonalität, JSON-Strictness, Tool-Call-Reihenfolge. Ein Regression-Test mit 94 % Quality-Score am Tag der Produktiv-Schaltung fällt 6 Monate später auf 81 % — ohne eine geänderte Code-Zeile.
• Daten-Drift. Neue Lieferanten-Doku-Formate, neue Vertragsklauseln, neue Produkt-Kategorien, neue Sprach-Varianten im Query. Ein RAG-System, auf 2024-er Dokumenten kalibriert, trifft 2026 auf 15–25 % out-of-distribution Inputs. Die schleichendste Form: keine Bruchstelle, sondern kontinuierliche Erosion der Precision-Recall-Kurve.
• Prompt-Erosion. Ein Engineer fixt einen Edge-Case durch eine zusätzliche Prompt-Klausel — und beschädigt damit drei andere Use-Cases ohne Eval-Coverage. Über 12 Monate sammeln sich 15–30 solcher Patches, jeder ohne Coverage-Test. Die Quality-Verteilung wird multimodal.

Vier Detection-Patterns

Keiner reicht allein — alle vier zusammen liefern den nötigen Multi-Signal-Frühwarn-Stack.

Golden-Set ist der deterministische Anker, LLM-Judge der Faithfulness-Vergleich gegen Reference, Embedding-Drift fängt silent input-shifts, Citation-Coverage ist der schnellste Hallucination-Proxy im RAG-Stack.

Frameworks im Vergleich

Die Wahl hängt an AI-Maturity, Team-Size und Compliance-Anforderung.

Praxis-Empfehlung: RAGAS + Promptfoo als Open-Source-Stack für 80 % der Piloten. Patronus erst bei größeren Use-Cases mit Compliance-Anker. DIY nur bei harter On-Prem-Pflicht.

In DACH-Pilots zeigt sich: Wer produktive AI ohne Monitoring betreibt, hat keine AI-Strategie — sondern eine AI-Hoffnung.

Pilot: RAG-Faithfulness-Monitoring im Fachverlag

Ein mittelständischer DACH-Fachverlag betrieb seit Q3 2025 ein RAG-System für Autoren-Recherche — rund 12.000 Queries/Monat gegen einen 4-Mio.-Artikel-Korpus. Monitoring-Setup Q1 2026: RAGAS + Promptfoo + custom Embedding-Drift-Job.

Findings nach 90 Tagen: Ein silent Sonnet-Update im Februar drückte den Golden-Set-Score um 7 pp, 12 % der Antworten verloren JSON-Struktur — Prompt-Hotfix in 4 h. Eine neue Wissenschafts-Autoren-Persona trieb den Embedding-Drift um +0,28 Wasserstein und den Recall von 87 % auf 71 % — Re-Indexing plus Reranker-Retune. Ein Retrieval-Bug ließ die Citation-Coverage in Woche 14 von 94 % auf 78 % fallen — Fix in 2 h. Ein erodierender Prompt-Patch kostete drei Use-Cases je 9 pp Faithfulness — Rollback plus Test-Erweiterung.

Vier echte Drift-Events in 90 Tagen, alle vor User-Feedback erkannt, drei in unter 4 h behoben. Ohne Monitoring hätten sie 6–12 Wochen unbemerkt im Production-Traffic gewirkt.

Quality-Gate-Design

Detection allein reicht nicht — der Quality-Gate-Layer entscheidet, was bei Drift passiert.

• Auto-Rollback. Fällt der Golden-Set-Score in der Deployment-Pipeline >5 pp unter Baseline, rollt die Pipeline automatisch auf die letzte stabile Version zurück und alertiert. Kein 30-Min-Approval-Call.
• Alert-Tiers. P1 (Pager): Quality-Drop >10 pp, Citation-Coverage <70 %, Outage → On-Call in <15 Min. P2 (Slack): Drift 3–10 pp, Embedding-Drift >0,2 → Review in 24 h. P3 (Weekly-Digest): Slow-Drift unter 3 pp → Monats-Retro.
• Human-Review-Queue. 1–2 % der Production-Calls (niedriger Quality-Score, Citation-Coverage <80 %, oder Random-Sample) gehen an einen Senior-Domain-Experten für Daumen hoch/runter plus Begründung. Das Feedback fließt in die nächste Golden-Set-Erweiterung.

Was Monitoring NICHT ersetzt

Drei Werkzeuge bleiben komplementär unverzichtbar. User-Feedback-Loop (In-Product-Thumbs, Free-Text, Conversion): real User > synthetic Eval — was im Golden-Set passt, kann im echten Fall trotzdem irrelevant sein. Red-Team-Audits: quartalsweise Adversarial-Testing, Findings fließen ins Eval-Set zurück. Manuelle Spot-Checks: ein Senior-Domain-Experte sichtet wöchentlich 20–30 zufällige Outputs und findet semantische Drifts — Tonalität, Fachsprache, kontextuelle Angemessenheit —, die kein automatisches System fängt.

Fazit

Production-AI-Qualität ist nicht statisch — sie degradiert kontinuierlich durch Provider-Updates, Daten-Drift und Prompt-Erosion. Der Stack ist klar: Golden-Set täglich, LLM-Judge wöchentlich, Embedding-Drift monatlich, Citation-Coverage als RAG-Frühwarnung. Tooling-Default 2026: RAGAS + Promptfoo für die meisten Mittelständler, Patronus bei größeren Compliance-Use-Cases, DIY nur bei On-Prem-Pflicht.

Praxis-Schritt: Ein 60-Min-Drift-Audit klärt, welche Drift-Ursachen in Ihrer Pipeline aktiv sind und welche Detection-Patterns fehlen. Erstgespräch anfragen → /anfrage

Stand Mai 2026. Quality-Monitoring-Audits in Kooperation mit AI-Observability-Partnern — eigene BAFA-/go-digital-Akkreditierung in Vorbereitung Q3 2026.