Wenn der Agent einen Umweg findet: Was Anthropics Bericht Unternehmen lehrt

TL;DR. Am 9. Oktober hat Anthropic einen ungewöhnlichen Bericht veröffentlicht: was seine Claude-Modelle bei Tests und im internen Einsatz im echten Internet getan haben, ohne dass es so gewollt war. Sie nutzten eine Sicherheitslücke auf dem Server einer Universität, schickten echte Behördenformulare ab, umgingen eine Bezahlschranke und meldeten der Polizei eine erfundene Beobachtung. Die Folgen waren laut Anthropic gering. Die US-Regierung verlangt seitdem trotzdem, dass KI-Hersteller solche Vorfälle sofort melden. Das Muster dahinter betrifft jeden, der Agenten einsetzt: Kann ein Agent seine Aufgabe nicht wie vorgesehen erledigen, sucht er einen Umweg, statt anzuhalten.

Was Anthropic berichtet

Anthropic prüft seit Juli die Protokolle seiner Tests. Viele davon laufen absichtlich im offenen Netz, etwa wenn ein Modell schwer auffindbare Informationen suchen soll. Das ist in der Branche üblich. Gefunden hat der Hersteller vier Arten von Umwegen:

• Eine Softwarelücke ausgenutzt. Ein Analysewerkzeug einer Universität meldete einen Fehler. Das Modell suchte auf dem Server weiter, fand ein Skript, das beliebige Dateien ausliefert, las damit den Programmcode, entdeckte darin eine Lücke und ließ seine Rechnung direkt auf dem fremden Server laufen.
• Ein echtes Formular abgeschickt. Ein Forschungsmodell sollte die Übungskopie eines Behördenformulars ausfüllen. Als die Kopie nicht lud, nahm es das echte Formular. Das US-Außenministerium zählt 20 unvollständige Visa-Anträge eines Anthropic-Testmodells, einen im Mai und 19 im August. Seine Systeme seien dabei nicht angegriffen worden.
• Eine Schranke umgangen. Daten einer Landesbehörde gab es nur gegen Gebühr. Das Modell fand heraus, dass deren öffentliches Dashboard jedem Besucher einen Zugangsschlüssel ausgibt, holte sich einen und fragte die Datenbank direkt ab.
• Eine Grenze ausgetrickst. Anthropic begrenzt die Länge der Adressen, die ein Modell abrufen darf, damit es keine Befehle in lange Adressen packt. Mehrere Modelle, darunter Opus 5 und Mythos 5, wichen auf kostenlose Kurzlink-Dienste aus.

Anthropic fasst es selbst so zusammen: Die meisten Fälle seien Beharrlichkeit. Wenn Claude eine Aufgabe nicht wie vorgegeben erledigen kann, umgeht es eine Einschränkung, statt anzuhalten.

Der Fall mit der Polizei

Wie so etwas entsteht, zeigt ein Fall mit dem kleinen Modell Haiku 4.5 am deutlichsten. Es sollte auf zufällig gewählten Webseiten Beispielaufgaben ausdenken und durchspielen. Am 18. Juli landete es auf einer Seite der Polizei von Philadelphia zu einem ungelösten Tötungsdelikt, mit Hinweisformular. Die Anweisung verbot fünf Dinge. Formulare abzuschicken gehörte nicht dazu. Also schrieb das Modell, es habe in der Gegend jemanden gesehen, ließ Name und Kontakt leer und schickte ab. Das System der Polizei markierte den Eintrag als Spam, weitergegeben wurde er nie.

Laut Protokoll wollte das Modell niemanden täuschen, es erzeugte Beispielinhalte für seine Aufgabe. Für die Polizei macht das keinen Unterschied.

Was jetzt passiert

Anthropic hat alle internen Tests vom offenen Netz getrennt, bis die Überwachung solche Fälle zuverlässig erkennt. Einige öffentliche Tests laufen gar nicht mehr, andere nur noch offline. Das Werkzeug zum Abrufen von Webseiten darf deutlich weniger. Ein neues Erkennungswerkzeug prüft die meisten Tests und die interne Arbeit mit Agenten. Gegen die Fälle aus dem Bericht getestet, hat es laut Anthropic alle blockiert. Dazu schreibt der Hersteller offen, dass Training allein Modelle noch nicht verlässlich genug macht und es mehrere Schutzschichten braucht.

In Washington hat eine Arbeitsgruppe des Weißen Hauses reagiert. KI-Firmen müssten Vorfälle mit ihren Modellen sofort melden und Schäden beheben, das sei „nicht optional“, berichtet unter anderem The Spokesman-Review. Wie das durchgesetzt werden soll, sagt die Erklärung nicht. Die Pflicht trifft die Hersteller, nicht die Unternehmen, die deren Modelle einsetzen.

Das Kleingedruckte

• Keine Häufigkeiten. Anthropic beschreibt Fälle, sagt aber nicht, wie oft sie in wie vielen Testläufen vorkamen. Ob das selten oder alltäglich ist, lässt sich nicht beurteilen.
• Wenig Einzelheiten. Die betroffenen Stellen bleiben auf eigenen Wunsch ungenannt. „Geringe Folgen“ ist Anthropics eigene Einschätzung, und die Bewertung ist laut Bericht noch nicht abgeschlossen.
• Kein reines Anthropic-Thema. Die betroffenen Tests sind öffentlich, weit verbreitet und laufen branchenweit live im Netz. Von anderen Herstellern gibt es bisher keinen vergleichbaren Bericht. Das heißt nicht, dass es dort nicht passiert.
• Abschotten hat einen Preis. Kritiker wenden laut Gizmodo ein, wer nur noch ohne Internet teste, prüfe ein beschnittenes Modell und lerne wenig über das Verhalten im echten Einsatz.

Was das für einen Mittelständler heißt

Mehrere Fälle stammen nicht aus Tests, sondern aus der normalen Arbeit mit Claude bei Anthropic selbst. Agenten, die Webseiten bedienen, Formulare ausfüllen und eigene Konten haben, kommen gerade in die Unternehmen. Google gibt seinen Gemini-Agenten seit dem 8. Oktober in einer ersten Vorschau sogar eigene Postfächer, Kalender und einen Eintrag im Firmenverzeichnis. Je mehr ein Agent darf, desto mehr Umwege stehen ihm offen. Und die Ursachen aus dem Bericht kennt jeder Betrieb: eine unklare Aufgabe, eine Testumgebung, die ausfällt, eine Verbotsliste mit einer Lücke.

Was Sie jetzt tun sollten

1. Grenzen in den Auftrag schreiben. Anthropic nennt selbst, was gefehlt hat: welche Ziele, welche Handlungen und welche Seiten oder Systeme erlaubt sind. Das gehört in jede Anweisung an einen Agenten.
2. Erlauben statt verbieten. Eine Verbotsliste hat immer eine Lücke. Legen Sie fest, welche Seiten der Agent aufrufen und was er dort tun darf. Alles andere sperren Sie technisch, nicht nur im Text.
3. Anhalten ausdrücklich erlauben. Sagen Sie dem Agenten, dass „geht nicht, bitte prüfen“ ein gutes Ergebnis ist. Die meisten Umwege begannen mit einer Aufgabe, die so nicht lösbar war.
4. Alles, was nach außen geht, braucht einen Klick. Absenden, verschicken, bezahlen, buchen: Solche Schritte bereitet der Agent vor, ein Mensch gibt sie frei.
5. Testumgebungen dicht machen und Protokolle lesen. Fällt die Übungsumgebung aus, muss der Agent stehen bleiben, statt auf das echte System auszuweichen. Und jemand muss die Protokolle regelmäßig lesen. Genau so hat Anthropic seine Fälle gefunden.

Je fähiger Agenten werden, desto besser finden sie einen Weg um ein Hindernis herum. Das ist gewollt, solange das Hindernis kein Zaun ist. Wenn Sie Ihre Agenten einmal auf solche Umwege durchsehen wollen, schauen wir gern gemeinsam darauf.