Welches KI-Modell hat wirklich geantwortet? Anthropic zeigt einen Beweis, den jeder prüfen kann

TL;DR. Wer eine KI über eine Schnittstelle nutzt, sieht nur die Antwort. Ob dahinter das bezahlte Modell rechnet oder ein billigeres, lässt sich heute nicht prüfen. Anthropic hat am 2. November mit FlashProve einen offenen Forschungsprototyp vorgestellt, der genau das ändern soll: Der Anbieter liefert zu jeder Antwort einen Beweis, den Sie auf einem normalen Rechner prüfen können, ohne die Gewichte des Modells zu sehen. Wir haben den Prüfer selbst gebaut. Er prüfte einen Beweis in voller Modellgröße in zehn Sekunden auf einem MacBook und lehnte alle 20 manipulierten Fassungen ab. Der Preis ist hoch: Das Beweisen kostet den Anbieter 70- bis 95-mal so viel Rechenzeit wie die Antwort selbst.

Das Problem: Sie sehen nur die Antwort

An seiner Antwort ist ein Modell kaum zu erkennen. Ein Anbieter kann ein kleineres Modell einsetzen, die Gewichte stärker komprimieren oder Anfragen über einen Vermittler weiterreichen. Der Kunde merkt es höchstens an der Qualität. Dass das vorkommt, ist belegt. Forscher aus Stanford haben im Sommer 2024 kommerzielle Schnittstellen für vier Llama-Modelle nachgemessen: 11 von 31 Endpunkten lieferten Antworten, die statistisch nicht zu Metas Originalgewichten passten. Eine Gruppe aus Berkeley kam 2025 zu dem Schluss, dass solche Tests allein unzuverlässig bleiben. Sie brauchen viele Anfragen und übersehen feine Änderungen.

Anthropic nennt in seiner Ankündigung zwei Fälle ausdrücklich: Vermittlungsdienste, die aus Kostengründen heimlich ein anderes Modell einsetzen, und Angreifer, die Antworten unterwegs verändern.

Was FlashProve macht

Das Verfahren stammt aus der Kryptografie und heißt zkSNARK: ein kurzer Beweis, der nichts über die Geheimnisse verrät, aus denen er entsteht. Der Anbieter legt sich einmal auf ein Modell fest und veröffentlicht dazu einen Fingerabdruck. Zu jeder Antwort erzeugt er einen Beweis. Wer den Fingerabdruck, die eigene Frage und die Antwort hat, kann prüfen, ob genau dieses Modell genau diese Antwort gegeben hat. Die Gewichte, das Betriebsgeheimnis des Modells, bleiben verborgen.

Die Zahlen aus der Ankündigung vom 2. November: Getestet wurde Metas offenes Modell Llama 4 Maverick mit 400 Milliarden Parametern. Eine einzelne H100-Grafikkarte erzeugt Beweise mit rund 110 Token pro Sekunde. Ein Beweis für eine Anfrage mit 1.024 Token ist etwa 19 MB groß. Der einzige frühere Beweis für dasselbe Modell, den Anthropic kennt, brauchte 14,3 Stunden für 1.000 Token. Laut Anthropic hat Claude das System gebaut. Damit man dem nicht blind vertrauen muss, sind die zentralen Garantien im Beweisassistenten Lean maschinell bewiesen. Code und Beweise liegen unter offener Lizenz auf GitHub.

Unser Test: der Prüfer auf einem normalen Rechner

Beweise erzeugen kann nur, wer eine H100 und rund 290 GB Arbeitsspeicher hat. Die Prüfung soll dagegen auf jedem Rechner laufen. Das haben wir am 5. November nachgestellt. Das Projekt liefert dafür einen gespeicherten Beweis in voller Größe mit: ein Modell in der Form von Llama 4 Maverick, aber mit erzeugten Zufallsgewichten, und eine Antwort von 1.001 Token. Token sind die Wortteile, in denen Modelle rechnen.

• Prüfen geht schnell. Der Prüfer sagte in drei Durchgängen nach 9,7 bis 10,9 Sekunden Ja und brauchte dabei bis zu 3,6 GB Arbeitsspeicher. Herunterzuladen sind einmal 6,2 MB Schlüssel und je Antwort 18,8 MB Beweis.
• Jede Änderung fällt auf. Wir haben die Unterlagen 20-mal verändert, jedes Mal nur an einer Stelle. Alle 20 Fassungen lehnte der Prüfer ab, meist nach drei Sekunden.
• Zu wenig Speicher heißt nicht Ja. Auf einer kleinen Testmaschine mit 4 GB brach die große Prüfung ab und meldete „nicht geprüft“. Auf dem vorgesehenen Weg mit Linux bestand dort das kleine Beispiel, und alle 79 veränderten Fassungen aus der Testtabelle des Projekts fielen durch.

Auf dem Mac haben wir den Prüfer mit Apples eigenem Compiler übersetzt, den das Projekt nicht offiziell unterstützt. Und die Gewichte im Beispiel sind erzeugt. Der Test zeigt also, dass die Prüfung auf einem gewöhnlichen Rechner funktioniert und Änderungen erkennt. Er zeigt nicht, dass ein echter Anbieter ein bestimmtes Modell ausliefert.

Der Haken

• Teuer. Um alles zu beweisen, was eine Grafikkarte ausliefert, bräuchte es nach Anthropics Rechnung 93 Grafikkarten.

• Kurz. Bisher reicht das Verfahren für 1.024 Token, also einen kurzen Wortwechsel. Heutige Modelle verarbeiten Hunderttausende.
• Streng oder locker. Bewiesen wird eine Ganzzahl-Fassung des Modells. Deren erste Wahl weicht an 6,81 Prozent der Stellen vom üblichen Modell ab. Von je 96 normal erzeugten Antworten bestand deshalb keine den strengen Abgleich. Für den Betrieb ist eine lockere Prüfung vorgesehen, die deutlich weniger sagt: Antworten, in denen ein Token gegen die zweite Wahl des Modells getauscht war, kamen dort in 28 von 32 Fällen durch.
• Der Fingerabdruck verrät kein Modell. Ein Anbieter kann sich auf jedes Modell festlegen, auch auf ein kleines. Der Fingerabdruck muss deshalb von einer Stelle kommen, der Sie vertrauen, nie vom geprüften Server selbst.
• Bewiesen ist das Verfahren, nicht das Programm. Der schnelle Prüfer für den Alltag ist getestet, aber nicht formal bewiesen. Was sich über Rechenzeiten verraten lässt, ist offen.
• Kein Produkt. Das Projekt nennt sich Forschungsartefakt und wird nicht gepflegt. Laut TechCrunch plant weder Anthropic noch ein anderes Labor den Einsatz. Den eigenen Datenverkehr sichert Anthropic auf anderem Weg: Antworten werden signiert und auf einem vertrauenswürdigen Server nachgerechnet.

Was das für den Mittelstand heißt

Für die meisten Anwendungen ist die Frage heute zweitrangig, das schreibt auch Anthropic. Wichtig wird sie in drei Fällen. Erstens, wenn Sie über einen Vermittler oder Wiederverkäufer ein bestimmtes, teures Modell bezahlen. Zweitens bei offenen Modellen, die Dritte für Sie betreiben: Dort fand die Stanford-Messung ihre Abweichungen. Drittens, wenn Sie später belegen müssen, welches System eine Entscheidung vorbereitet hat, etwa gegenüber Prüfern, Kunden oder Behörden.

FlashProve zeigt, dass ein solcher Beweis technisch möglich ist und schnell billiger wird. Kaufen können Sie ihn noch nicht. Bis dahin heißt es: Vertrauen vertraglich absichern und selbst nachmessen.

Was Sie jetzt tun sollten

1. Modell und Version festschreiben. Im Vertrag oder in der Bestellung: genaue Modellbezeichnung, Version, Komprimierung, Rechenzentrum. Wechsel nur mit Ankündigung.
2. Die Modellangabe mitschreiben. Viele Schnittstellen nennen in jeder Antwort das Modell. Speichern Sie diese Angabe mit. Sie ist kein Beweis, aber die Grundlage jeder späteren Klärung.
3. Eigene Prüffragen pflegen. 20 bis 50 feste Fragen mit bekannten guten Antworten, einmal im Monat gestellt. Kippt das Ergebnis plötzlich, fragen Sie nach. Die Stanford-Gruppe erkannte Abweichungen so in rund drei von vier Fällen, mit im Schnitt zehn Antworten je Frage.
4. Bei Vermittlern nachfragen. Wer rechnet tatsächlich, und in welcher Fassung? Lassen Sie es sich schriftlich geben.
5. Bei sensiblen Anwendungen nach Nachweisen fragen. Heute sind das signierte Protokolle und abgeschottete Rechenumgebungen, deren Hardware bestätigt, welches Programm läuft. Kryptografische Beweise kommen dazu, sobald sie im Betrieb bezahlbar sind.

Bei KI-Diensten blieb bisher nur Vertrauen. FlashProve zeigt, dass sich das ändern lässt, auch wenn es noch dauert. Wenn Sie Ihre KI-Verträge und Prüffragen darauf ausrichten wollen, helfen wir gern.