KI repariert KI ohne Training: ein Eingriff in 0,016 Prozent der Gewichte. Was das für offene Modelle heißt

TL;DR. Forscher am MIT haben am 2. November gezeigt, dass ein KI-Modell ein anderes direkt in dessen Gewichten reparieren kann, ganz ohne Training. OpenAIs GPT-6 Astra fand im kleinen offenen Modell Qwen3.5-0.8B die Ursache für endlose Denkschleifen und änderte dafür 0,016 Prozent der Gewichte. Danach löste das Modell 48,1 statt 7,9 Prozent der Aufgaben in einem Mathe-Test. Wir haben beide Fassungen heruntergeladen und Zahl für Zahl verglichen: Von außen sehen sie gleich aus, nur die Prüfsumme verrät den Unterschied. Offene Modelle lassen sich künftig gezielt reparieren und genauso unauffällig verändern. Wer sie im Haus betreibt, muss wissen, welche Fassung läuft.

Was die Forscher gemacht haben

Ein Sprachmodell besteht aus Hunderten Millionen bis Billionen Zahlen, den Gewichten. Sie entstehen und ändern sich normalerweise durch Training: viele Beispiele, viele Rechenschritte, viel Rechenleistung. Das Team um Omar Khattab am MIT CSAIL hat in seinem Beitrag „Sparks of Weight-Space Programming“ etwas anderes versucht. Es gab GPT-6 Astra Zugriff auf die Gewichte eines anderen Netzes und eine Aufgabe in Worten. Training war verboten. Astra durfte nur lesen, rechnen und einzelne Zahlen ersetzen.

In acht Versuchen erkannte Astra an den rohen Gewichten, auf welches Spiel ein Netz trainiert war, reparierte eine Fahrzeugsteuerung, die vorher in allen 256 Testfahrten scheiterte, und schrieb kleine Spielnetze von Grund auf. Den größten Effekt hatte der achte Versuch mit Qwen3.5-0.8B, einem kleinen offenen Sprachmodell von Alibaba. Es hat eine bekannte Schwäche: Beim Nachdenken verfängt es sich in Schleifen. Die Modellkarte warnt selbst davor.

Eine Zeile, 569-mal

Wie diese Schleifen aussehen, zeigen die veröffentlichten Testantworten. Bei der Aufgabe, den Punkt (0, 3) in Polarkoordinaten umzurechnen, schrieb das Originalmodell dieselbe Zeile 569-mal hintereinander, bis die Antwort nach 32.768 Token abgeschnitten wurde. Ein Ergebnis gab es nicht.

Astra suchte in den Gewichten die Stelle, die diese Schleifen auslöst. Es fand eine Richtung, die zwei Bausteine in den Schichten 15 und 19 in das Modell hineinschreiben, und zog sie dort aus je 64 Spalten heraus. Mehr nicht. Mathe-Wettbewerbsaufgaben (MATH-500) löste das Modell danach zu 48,1 statt 7,9 Prozent, Textaufgaben (GSM8K) zu 67,1 statt 13,8 Prozent. Auch beim Befolgen von Anweisungen ging es von 21,0 auf 62,3 Prozent hoch, weil die Schleifen nicht nur beim Rechnen auftreten.

Bei Hugging Face wurde das bearbeitete Modell am selben Tag unabhängig nachgerechnet, mit 51,0 Prozent bei MATH-500. Auf denselben 25 Aufgaben, die dort auch mit dem Original liefen, steht es 47 zu 5 richtige Antworten von je 100.

Unsere Messung: was sich in der Datei geändert hat

Die bearbeitete Fassung liegt öffentlich bei Hugging Face. Wir haben sie am 3. November zusammen mit dem Original heruntergeladen, je 1,75 Gigabyte, und Zahl für Zahl verglichen.

• Winzig. Von 873.438.784 Zahlen in der Datei sind 130.188 anders, 0,015 Prozent. Die Forscher kommen auf 0,016 Prozent, weil sie nur den Sprachteil zählen.
• Von außen unsichtbar. Gleiche Bausteine, gleiche Namen, gleiche Einstellungen. Was die Änderung bewirkt, sieht man der Datei nicht an.
• Sofort messbar. Die Prüfsumme (SHA-256) der beiden Dateien ist völlig verschieden. Der Vergleich dauert Sekunden.

Hier ist alles offen: Die Forscher veröffentlichen jede Runde, jeden Rechenschritt und jede Änderung. Dass es auch anders geht, hat die Sicherheitsfirma Mithril Security schon 2023 mit PoisonGPT gezeigt: ein offenes Modell, gezielt so verändert, dass es eine falsche Tatsache verbreitet, in einem Standardtest aber nur um 0,1 Prozent vom Original abweicht.

Der Haken

• Ein Blogbeitrag, kein begutachtetes Paper. Ein Team, ein bearbeitendes Modell, ein Lauf je Einstellung. Nachgerechnet ist bisher das Ergebnis, nicht die Methode.
• Viel Aufwand für einen Eingriff. Der beste Lauf dauerte 20,3 Stunden, davon 4,7 Stunden Warten auf einen Ausfall, mit 158 Runden, 80 Rechenläufen und 50 Probeläufen des Modells, bei höchster Denkstufe. Was das gekostet hat, steht nirgends. Ein Vergleich mit normalem Nachtrainieren fehlt.
• Mit weniger Probeläufen klappte es kaum. Mit 10 oder 25 Probeläufen kam MATH-500 nur auf 12,3 und 14,1 Prozent.
• Repariert, nicht klüger gemacht. Bei Gemma 3 270M, einem Modell ohne Schleifen, stieg Mathe von 6,8 auf höchstens 7,7 Prozent. Die Forscher schreiben selbst: Der Eingriff konnte ein Hindernis entfernen, aber keine fehlende Fähigkeit hinzufügen.
• Das Handwerk ist nicht neu. Ein Verhalten über eine einzige Richtung aus einem Modell zu entfernen, ist seit 2024 bekannt, etwa bei Ablehnungen. Neu ist, dass ein Modell die Stelle selbst findet. Qwens eigene Einstellung gegen Wiederholungen war in den Tests übrigens schon eingeschaltet.
• Lesen klappt nicht immer. Welches von zwei Modellen Nutzern nach dem Mund redet, konnte Astra aus den Gewichten allein in vier Versuchen nicht sagen. Erst mit einem Blick auf das laufende Modell gelang es.

Kritiker wie die Initiative PauseAI halten die Richtung für gefährlich, weil Modelle so ihre Nachfolger verbessern könnten. Gezeigt ist das nicht: Ein Modell, das sich Runde um Runde selbst verbessert, haben die Forscher nicht vorgeführt.

Was das für den Mittelstand heißt

Wer KI über ChatGPT, Copilot oder eine Schnittstelle nutzt, merkt davon vorerst nichts. Die Gewichte liegen beim Anbieter. Anders ist es bei offenen Modellen, die Unternehmen selbst betreiben, etwa weil Daten das Haus nicht verlassen dürfen. Dort hat die Arbeit zwei Seiten.

Die gute: Eine bekannte Schwäche eines kleinen Modells lässt sich womöglich bald beheben, ohne Trainingsdaten und ohne Grafikkarte, mit einem Eingriff, der den Rest des Modells nicht anfasst. Die Forscher hoffen außerdem, versteckte Hintertüren eines Tages direkt in den Gewichten zu finden.

Die andere: Eine Änderung an 0,015 Prozent der Zahlen ist von außen nicht zu sehen. Je leichter solche Eingriffe werden, desto wichtiger wird die Frage, woher eine Modelldatei stammt und ob sie noch die ist, die Sie geprüft haben.

Was Sie jetzt tun sollten

1. Offene Modelle nur aus der Originalquelle beziehen. Vom Konto des Herstellers, nicht von einer Kopie mit ähnlichem Namen.
2. Die Fassung festschreiben. Für jede eingesetzte Modelldatei Versionsstand und Prüfsumme notieren und vor dem Start vergleichen.
3. Jede Änderung wie eine neue Version behandeln. Ob nachtrainiert oder repariert: vor dem Einsatz mit den eigenen Testfällen prüfen, das Ergebnis festhalten und einen Weg zurück zur alten Fassung bereithalten.
4. Mit eigenen Eingriffen warten. Noch ist das Forschung mit einem Modell und einem Team. Für den Betrieb wird es interessant, wenn es Werkzeuge gibt, die jeden Eingriff nachvollziehbar und prüfbar machen.

Dass eine KI in einer anderen eine Fehlerstelle findet und gezielt entfernt, ist neu. Für Ihren Betrieb heißt das heute vor allem: Sie sollten wissen, welche Modelldatei bei Ihnen läuft. Wenn Sie das für Ihre eigenen KI-Anwendungen sauber aufstellen wollen, helfen wir gern.