Alle Beiträge

Betrieb, Sicherheit & Eval

AI-RFP-Templates ohne Vendor-Bingo

Baybora Gülec17. Mai 20269 Min.

TL;DR

  • Sieben Pflicht-Sektionen trennen 2026 produktive AI-RFPs von Vendor-Bingo-Ausschreibungen: Use-Case+KPI, Eval-Set, DSGVO, Architektur, Quality-Monitoring, Cost-Modell, Übergabe. Wer eine weglässt, kauft eine Black-Box.
  • Eval-Set in jeder RFP — der Customer stellt 100–300 reale Beispiele, der Vendor liefert eine ROC-Kurve darauf in seiner Antwort. Ohne Eval-Set bewertet man Marketing-Demos, nicht Modell-Qualität.
  • 80/20-Bewertung statt Preis-Wettbewerb: 80 % in Eval-Performance plus Architektur, 20 % in Cost plus Referenzen. Wer die Gewichte umdreht, kauft den billigsten Anbieter mit der schwächsten Substanz.

In DACH-Pilots zeigt sich: Die erste AI-RFP produziert oft Vendor-Antworten, die alle dasselbe Marketing-Deck sind. Erst mit Eval-Set wird sichtbar, dass nur ein Bruchteil die eigene Domain treffen kann.

80/20-Bewertung, nicht Preis

Eval-Set-Performance43 %
Architektur/Governance25 %
Cost-Modell12 %
Übergabe + Doku10 %
Referenzen10 %
Gewichtung einer AI-RFP
Die Gewichtung entscheidet, was gekauft wird: 80 % fließen in Eval-Performance und Architektur, nur 20 % in Cost und Referenzen — die Eval-Set-Performance ist mit 45 % der dominante Faktor.

Sieben Pflicht-Sektionen einer AI-RFP

AI-RFPs sind ein eigenes Schreib-Genre. Standard-IT-Templates produzieren Vendor-Antworten ohne Substanz — sie fragen nach Funktionen, nicht nach Modell-Qualität, Governance oder Übergabe. Jede fehlende Sektion ist ein Einfallstor für Black-Box-Verträge, die im ersten Produktiv-Monat platzen.

Exhibit Eval-Set-Anforderung Detail 2026 Phase Customer-Output Vendor-Output Bewertung Eval-Set-Erstellung 100 bis 300 reale Beispiele mit Erwartungs-Output anonymisiert Domain-repraesentativ 5 bis 10 Personentage Eval-Set-Uebergabe an Shortlist-Vendor unter NDA klare Mess-Methodik vorgegeben RFP-Anlage Vendor-Eval-Run ROC-Kurve oder Precision Recall pro Klasse Latency-Profil Cost-Schaetzung pro Run Antwort-Pflicht Methodology-Beschreibung welches Modell welcher Prompt RAG-Konfiguration Reproducibility-Hash Transparenz-Mindest-Standard Customer-Verifikation Customer rechnet auf eigenem Eval-Slice nach prueft Reproducibility 2 bis 3 Personentage Bewertungs-Output Vergleichs-Tabelle aller Vendor-Antworten auf identischem Eval-Set 60 Prozent der finalen RFP-Bewertung
Exhibit 2: Eval-Set-Anforderung im Detail — Customer-Eval-Set vs Vendor-Eval-Output, 60 % der finalen RFP-Bewertung. Typisch identifizieren Customer 2 von 5 Vendoren als domain-tauglich, die anderen drei scheitern an Precision <0,70.
  • Geschäfts-Use-Case mit Baseline-KPIs. Nicht "wir wollen AI", sondern "wir wollen Belegerfassungs-Cost um Faktor X senken". Status-quo in harten KPIs, Ziel mit Zahl, Zeitraum und Mess-Methodik. Ohne Baseline bewertet keine Antwort den Business-Case.
  • Eval-Set-Anforderung. 100–300 reale Beispiele mit Erwartungs-Output, der Vendor liefert ROC-Kurve oder Precision/Recall darauf. Ohne Eval-Set ist die RFP ein Beauty-Contest, mit Eval-Set reproduzierbar vergleichbar.
  • Daten-Governance + DSGVO. Hosting-Region (EU-Pflicht für personenbezogene Daten), Sub-Processor-Liste mit Update-Cadence, No-Training-Garantie, AVV als Mindest-Anlage. Wer diese vier Punkte nicht namentlich beantwortet, ist raus.
  • Architektur-Erwartung. Eigene Code-Basis oder Custom-on-Provider? Self-Host-Option für Air-Gap? API-Versionierung, Modell-Wechsel-Mechanismus? Vendor-Lock-In entsteht hier, nicht im Preis.
  • Quality-Monitoring. Welche Metriken werden in Production gemessen — Citation-Coverage, Halluzinations-Rate, Latency-P95, User-Feedback? Mit welcher Cadence, von wem berichtet? Ohne definierte Mess-Cadence kein objektiver Funktions-Beweis.
  • Cost-Modell. Token-Pricing Input/Output, Reasoning-Tokens als eigene Position, Cache-Adoption-Rate, Volumen-Staffeln. Wer Reasoning-Tokens und Cache nicht abfragt, kauft Kosten-Überraschungen.
  • Übergabe-Konditionen. Doku-Pflicht (Architektur-Diagramme, Prompt-Library, Eval-Ergebnisse), Trainings-Workshops, Source-Code-Aushändigung bei Custom-Builds, Modell-Gewichte, Export-Format — die Exit-Versicherung, nicht-verhandelbar.

Eval-Set-Anforderung im Detail

Die Eval-Set-Sektion ist das Herzstück — sie wandelt Marketing-Versprechen in reproduzierbare Zahlen. Wer sie richtig spezifiziert, hat 80 % der RFP-Arbeit gemacht.

PhaseOutputAufwand
Eval-Set-Erstellung100–300 reale Beispiele, anonymisiert, Domain-repräsentativ5–10 Personentage Customer
Eval-Set-Übergabeunter NDA an Shortlist, klare Mess-Methodik vorgegebenRFP-Anlage, Teil des AVV
Vendor-Eval-RunROC-Kurve / Precision-Recall pro Klasse, Latency-Profil, Cost-SchätzungAntwort-Pflicht
Methodology-BeschreibungModell, Prompt, RAG-Konfiguration, Reproducibility-HashTransparenz-Standard
Customer-VerifikationNachrechnen auf eigenem Eval-Slice, Reproducibility prüfen2–3 Personentage
Bewertungs-OutputVergleichs-Tabelle aller Antworten auf identischem Eval-Set60 % der finalen Bewertung

Customer, die ein Eval-Set fordern, identifizieren typisch zwei von fünf Vendoren als domain-tauglich — die anderen scheitern an Precision unter 0,70.

Bewertungs-Schema 80/20

Die Gewichtung entscheidet, was wirklich gekauft wird: 80 % in Qualität — Eval-Performance, Architektur und Übergabe —, 20 % in Cost plus Referenzen. Wer umdreht, kauft Marketing.

Modellrechnungs-Cockpit 120 Millionen Euro sueddeutscher Spezialmaschinenbauer 410 Mitarbeitende AI-RFP fuer Doku-RAG ueber 18 Jahre Engineering-Wissen Konstruktions-Zeichnungen FMEA-Reports Service-Manuals Monat 1 Standard-IT-RFP 5 Vendor-Antworten alle wir koennen alles keine Eval-Daten generisches Cost-Modell 0 differenziert Monat 2 Reset auf 7-Sektionen-Schema Eval-Set 240 Beispiele Konstruktions-Doku erstellt AVV-Template Architektur-Pflicht-Fragen 3 von 5 antworten auf neue RFP Monat 3 Eval-Run auf Customer-Daten 2 Vendoren liefern Precision ueber 0 Komma 80 einer scheitert an 0 Komma 52 Domain-Mismatch klar erkennbar 2 finalists Monat 4 Architektur-Deep-Dive plus Vertrag Self-Host-Option bei einem Finalist Source-Code-Klausel bei beiden Entscheidung faellt auf Architektur nicht Preis Vertragsvolumen 420 Tausend Euro ueber 18 Monate Vendor-Auswahl-Confidence GF von 2 Komma 8 auf 4 Komma 6 von 5
Exhibit 3: 4-Monats-Modellrechnung Industrie-Mittelstand — Reset von Standard-IT-RFP auf 7-Sektionen-Schema, von 5 generischen Marketing-Decks zu 2 echten Finalists mit Precision >0,80 auf Customer-Eval-Set. Vertragsvolumen, GF-Confidence 2,8 → 4,6/5,0.
KategorieGewichtMess-Methodik
Eval-Set-Performance45 %Precision/Recall auf Customer-Eval-Set, Latency-P95, Halluzinations-Rate
Architektur + Daten-Governance25 %Hosting-Region, Self-Host-Option, Sub-Processor-Liste, AVV-Tauglichkeit
Übergabe + Doku10 %Source-Code-Klausel, Doku-Pflicht, Trainings-Workshops, Export-Format
Cost-Modell12 %Token-Pricing, Reasoning-Tokens, Cache-Adoption, Volumen-Staffeln
Referenzen + Track-Record8 %≥2 DACH-Referenzen vergleichbarer Branche, Customer-Calls

Stellt man die Bewertung darauf um, gewinnt regelmäßig nicht der billigste, sondern der substanzstärkste Anbieter — und Folgeaufträge gehen zum selben Vendor.

Anti-Patterns

  • RFP ohne Eval-Set. Fragt nach Features statt Modell-Qualität auf realen Daten — der Vendor liefert Marketing-Demo, der Customer kauft Black-Box. Produktiv-Quality liegt dann 30–60 % unter Demo-Quality, weil die eigene Domain im Demo-Set nicht vorkam.
  • Standard-IT-Template. Behandelt AI wie klassische Software — Lizenz-Modell, On-Premise-Option, Standard-SLA. Keine Modell-Versionierung, keine Halluzinations-Rate, kein Quality-Monitoring. Der Vendor beantwortet die meisten Fragen falsch, der Customer signiert trotzdem.
  • Kein Übergabe-Konzept. Doku-Pflicht und Source-Code-Klausel fehlen, alles steckt im Vendor-System. Vendor-Wechsel kostet Re-Build statt Migration. Bei Re-Tender nach 18–24 Monaten zahlt der Customer 20–60 % Aufschlag.

Default-RFP-Template 2026

Sieben Pflicht-Sektionen plus Eval-Set-Pflicht plus 80/20-Bewertung. Wer abweicht, braucht eine explizite Begründung pro Abweichung. Die Sektionen: Use-Case mit Baseline-KPIs, Eval-Set mit 100–300 realen Beispielen, Governance plus DSGVO mit Hosting-Region und Sub-Processor-Liste, Architektur mit Self-Host-Abfrage, Quality-Monitoring mit Mess-Cadence, Cost-Modell mit Reasoning-Tokens und Cache, Übergabe mit Source-Code-Klausel. Gewichtung 45/25/10/12/8 — Qualitäts-Entscheidungen statt Preis-Entscheidungen.

Praxis-Schritt: Ein AI Readiness Audit liefert ein eigenes RFP-Template nach den sieben Pflicht-Sektionen, einen ersten Eval-Set-Entwurf aus Ihren Daten plus 80/20-Schema — fertig zum Versand an Shortlist-Vendoren. Audit anfragen → /anfrage

Stand Mai 2026. AI-Procurement- und RFP-Beratung für DACH-Mittelstand mit Schwerpunkt MedTech, Maschinenbau, Industrie-Mittelstand — eigene BAFA-/go-digital-Akkreditierung in Vorbereitung Q3 2026, Förder-Pfade aktuell in Kooperation mit akkreditierten Partner-Beratungen.

Weiterführend im Themenfeld: Human-AI-Handover: UX im Self-Service und Conversational-UX für AI-Produkte.

Baybora Gülec· Gründer, Azena

Nächster Schritt

Passt das auf Ihren Fall?

30-Min-Erstgespräch, kostenfrei und unverbindlich. Wir gehen Ihren konkreten Fall durch — und sagen ehrlich, wenn nichts passt.

Teilen LinkedIn Per E-Mail