80 Prozent fürs Suchen: Wofür ein Coding-Agent seine Token ausgibt und warum Ihre Tests entscheiden

Eine junge Frau mit langen dunklen Haaren in schwarzem Strick beugt sich über einen Holztisch voller Pauspapier-Blätter und prüft eines davon mit einer großen Lupe. Vorn am Tischrand liegt eine einzelne leuchtende Kugel auf einem gefalteten Blatt. Oben rechts eine Karte: 80 Prozent der Token gehen ins Lesen, Suchen und Testen, arXiv-Studie der Universität Toronto vom 17. November 2026. Lesen, Suchen, Testen 1.900 Token, die eigentliche Änderung 400 Token, wackelige Tests stoppten 3 von 8 Fehlern. Eine Umbenennung kostet rund 2.300 Token, 1.110 gelandete Läufe, ein Modell

TL;DR. Zwei Forscher der Universität Toronto haben über tausend Läufe eines Coding-Agenten Token für Token ausgewertet. Ergebnis: Rund 80 Prozent dessen, was der Agent erzeugt, fließt in Lesen, Suchen und Testen, nur ein kleiner Rest in die eigentliche Änderung. Das ist meist keine Verschwendung, sondern der Preis dafür, dass der Agent das Projekt erst verstehen muss. Die wichtigere Nachricht steckt im zweiten Teil der Studie: Eine Testsammlung, die schon auf fehlerfreiem Code wackelt, lässt Fehler des Agenten durch. Ihre Tests entscheiden über die Qualität mehr als das Modell.

Was die Studie gemessen hat

Alán Aspuru-Guzik und Varinia Bernales haben am 17. November die Studie „Where the Tokens Go“ veröffentlicht. Sie leihen sich Begriffe aus der Thermodynamik: Token, die das Projekt der gewünschten Änderung näherbringen, heißen Arbeit. Alle anderen heißen Wärme, also Aufrufe, nach denen der Code so dasteht wie vorher.

Die Aufgabe war bewusst einfach. Der Agent sollte in einem Python-Projekt mit mehreren hundert Modulen ein Modul umbenennen und alle Verweise nachziehen, danach mussten die Tests grün sein. Von 1.200 Läufen kamen 1.110 ans Ziel. Ein typischer Lauf kostete rund 2.300 Token. Etwa 1.900 davon gingen ins Lesen von Dateien, ins Durchsuchen des Projekts und ins Testen, rund 400 in die Änderung selbst. Über alle gelandeten Läufe waren es 80 Prozent Wärme, in jeder Versuchsreihe zwischen 73 und 85 Prozent. Ein Lauf brauchte 9 bis 17 Schritte, nur etwa zwei davon veränderten den Code.

Ausgabe-Token je erfolgreichem Lauf, aufgeteilt in Änderung und Suchen/Lesen/Testen

Änderung („Arbeit“)Lesen, Suchen, Testen („Wärme“)Mindestkosten laut Studie

Quellen: Aspuru-Guzik, Bernales, arXiv 2611.23375, 17. November 2026, Kasten S. 2 und Abschnitt 2.5; eigener Test mit einer kleineren Umbenennung. Verschiedene Projekte und Modelle, die Längen sind nur innerhalb einer Gruppe vergleichbar.

Die Autoren schätzen außerdem, was die Änderung mindestens kosten müsste: rund 350 Token. Das sind 14 bis 22 Prozent der tatsächlichen Kosten. Sie nennen das den Wirkungsgrad eines Agenten, eine Zahl, die bisher kein Benchmark ausweist. Benchmarks zählen, ob eine Aufgabe gelöst wurde, nicht, was der Weg dahin gekostet hat.

Ist das Verschwendung?

Die Autoren sagen: meistens nicht. In diesen Schritten findet der Agent heraus, was er ändern muss. Sparen lasse sich eher, indem man ihm sagt, was er sonst selbst herausfinden müsste. Gemessen haben sie das ausdrücklich nicht.

Wir haben es im Kleinen ausprobiert. Claude Sonnet 5.5 sollte in einem Testprojekt mit zwölf Modulen ein Modul umbenennen, das an fünf Stellen verwendet wird, darunter einmal nur als Text in einer Liste. Zehn Läufe bekamen nur den Auftrag, zehn zusätzlich einen Zettel mit allen fünf Fundstellen. Alle 20 Läufe kamen ans Ziel. Ohne Zettel brauchte der Agent im Mittel 947 Ausgabe-Token, mit Zettel 1.802. Er durchsuchte das Projekt trotzdem in jedem Lauf selbst, las die genannten Dateien zusätzlich nach und schrieb am Ende einen längeren Bericht. Ein Hinweis spart also nur, wenn er das Suchen wirklich ersetzt, etwa in großen Projekten, wo Suchen teuer ist. Das haben wir nicht gemessen.

Noch etwas zeigte unser Test: Auf jeden Ausgabe-Token kamen acht bis neun Eingabe-Token, also Projektinhalt, den das Modell lesen musste. Die Studie zählt nur die Ausgabe. Auf der Rechnung steht beides.

Die eigentliche Schwachstelle ist der Prüfer

Ein Agent hält seine Arbeit für fertig, wenn die Tests grün sind. Die Studie prüft deshalb, wie zuverlässig dieser Prüfer ist. In 60 Versuchen auf drei Rechnern bauten die Forscher selbst Fehler in den Code ein und ließen nachsehen: gar nicht, nur mit den Tests der geänderten Datei oder mit der ganzen Testsammlung.

Anteil der durchgelassenen Code-Stände, die einen eingebauten Fehler trugen, in Prozent

Quelle: arXiv 2611.23375, Abschnitt 2.6. 60 Versuche auf drei Rechnern, Fehler von den Forschern eingebaut, ohne Agent. Bei der Kalibrierung lagen die Dateitests bei 29 Prozent.

Die ganze Sammlung war nicht besser als die Tests einer einzigen Datei. Der Grund: Einige Tests schlugen schon auf fehlerfreiem Code fehl, mal wegen des Netzes, mal wegen der Reihenfolge, mal wegen des Rechners. Ein Rechner hatte 11 Fehlschläge auf sauberem Code und ließ deshalb bis zu 33 durch. Ein eingebauter Fehler erzeugte 8 bis 12, also kam jeder durch. An einem Morgen zählten die drei Rechner 17, 11 und 1 Fehlschläge, am nächsten 2, 1 und 4. Auch eine sorgfältige Kalibrierung half nicht. Die Autoren folgern: Die Abhilfe liegt in den Tests selbst.

Im zweiten Versuch verfälschten die Forscher das Urteil der Tests absichtlich. Ergebnis: Der Anteil fehlerhafter Änderungen, die als fertig durchgingen, folgte fast eins zu eins der Fehlerquote des Prüfers.

Eingestellte Fehlerquote der Tests gegen fehlerhaft durchgelassene Änderungen, in Prozent

eingestellte Fehlerquote der Testsfehlerhafte Änderungen unter den durchgelassenen

Quelle: arXiv 2611.23375, Abschnitt 2.7. 669 Läufe, davon 550 beurteilbar und 269 durchgelassen.

Ein Prüfer, der sich einmal in zehn Fällen irrt, lässt also etwa jede zehnte kaputte Änderung als fertig durch. Ist eine Aufgabe schwer und scheitern mehr als die Hälfte der Versuche, wird es schlimmer. In einem eigens gebauten Spielprojekt waren bei 30 Prozent Prüffehler 52 Prozent der fertigen Änderungen fehlerhaft. Die Autoren schreiben: Wenn Modelle schneller besser werden als Tests, bestimmen die Tests die Qualität dessen, was ausgeliefert wird.

Der Haken

  • Ein Modell, ein Projekt, zwei Umbenennungen. Gemessen wurde nur DeepSeek V4.1 Flash mit abgeschaltetem Denkmodus. Die Autoren sagen selbst, dass größere Änderungen anders aussehen können.
  • Nur Ausgabe-Token. Was das Modell liest, zählt die Studie nicht. In unserem Test war das der weitaus größere Teil.
  • Kleine Stichprobe beim Prüfer. 60 Versuche reichen nach Aussage der Autoren nicht, um die beiden Prüfarten sicher zu unterscheiden.
  • Eine Analogie, kein Naturgesetz. Die Physik-Begriffe sind ein Werkzeug zum Ordnen. Die Studie ist ein Vorabdruck und noch nicht begutachtet.
  • Unser Test ist noch kleiner. Ein Modell, eine Aufgabe, 20 Läufe. Er zeigt eine Richtung, keinen Durchschnitt.

Ein Nebenbefund ist dagegen recht deutlich: Stellt man das Modell sehr streng ein, also auf niedrige Temperatur, wiederholt es sich. Bei 0,25 und darunter endeten 12 bis 35 Prozent der Läufe in einer Schleife, in der derselbe Suchbefehl immer wieder lief. Unterhalb von 0,5 kostete eine erfolgreiche Änderung, alle Läufe mitgezählt, 2- bis 14-mal so viel wie darüber.

Was das für den Mittelstand heißt

Wer Agenten an der eigenen Software arbeiten lässt, an der Warenwirtschaft, an Schnittstellen zum Lieferanten oder an internen Werkzeugen, sollte wissen: Der größte Posten ist das Verstehen des Projekts, nicht das Schreiben. Ein unübersichtliches Projekt kostet bei jeder Aufgabe aufs Neue.

Wichtiger ist der Prüfer. Hat Ihre Testsammlung Tests, die „halt manchmal rot“ sind, weiß ein Mensch im Team, welche er ignorieren darf. Ein Agent weiß das nicht, und eine großzügige Schwelle lässt dann genau die Fehler durch, die man sucht.

Was Sie jetzt tun sollten

  1. Wackelige Tests reparieren oder entfernen. Lassen Sie Ihre Testsammlung zehnmal auf unverändertem Code laufen. Jeder Test, der dabei auch nur einmal rot wird, gehört repariert, bevor ein Agent sich darauf verlässt.
  2. Keine Schwelle für „ein paar Fehlschläge sind normal“. Der Agent soll nur bei null Fehlschlägen fertig sein.
  3. Kosten je Lauf messen, auch für Fehlläufe. Lassen Sie Ihr Werkzeug Ein- und Ausgabe-Token je Aufgabe protokollieren. Fehlläufe sind die teuersten.
  4. Schleifen abbrechen. Wiederholt ein Agent denselben Befehl mit derselben Ausgabe, stoppen und neu starten. Legen Sie eine Obergrenze für Schritte fest, die sich an erfolgreichen Läufen orientiert.
  5. Hinweise prüfen statt annehmen. Eine Projektbeschreibung für den Agenten kann helfen. Messen Sie mit und ohne, bevor Sie sie für alle einführen.

Bessere Modelle bekommen viel Aufmerksamkeit. Diese Studie zeigt, dass die Tests mindestens genauso viel verdienen. Wenn Sie wissen wollen, wie zuverlässig Ihre Tests als Prüfer für Agenten sind, schauen wir gern gemeinsam darauf.

Ein Gespräch, das sich auch ohne Mandat lohnt.

20 Minuten, unverbindlich. Antwort meist am selben Werktag, persönlich.