Die beste KI erreicht 12 Prozent bei echter Facharbeit. Was ein neuer Härtetest für Ihr Büro heißt

TL;DR. Das Analysehaus SemiAnalysis hat am 2. November GDPx veröffentlicht, einen Test, der KI-Agenten an echte Facharbeit setzt: 206 Aufgaben aus elf Gebieten, gebaut mit 14 Spezialfirmen, jede in einer eigenen Arbeitsumgebung und mit bis zu acht Stunden Zeit. Das beste Modell, Claude Opus 5.5, kommt auf 12 Prozent. In Finanzen und Recht hat fast kein Modell eine Aufgabe ganz richtig abgegeben, obwohl die besten mehr als die Hälfte der Prüfpunkte erfüllten. Unsere Auswertung der Rohdaten zeigt außerdem: GPT-6.1 Sol erreicht 70 Prozent des Opus-Ergebnisses zu 19 Prozent der Kosten. Fast fertig ist bei Facharbeit nicht fertig. KI-Agenten liefern heute Zuarbeit, die Abgabe bleibt beim Menschen.

Was GDPx anders misst

Die meisten Tests geben dem Modell alles Nötige gleich in die Aufgabe. GDPx setzt den Agenten in eine Arbeitsumgebung, in der er sich das selbst suchen muss. Bei den Finanzaufgaben ist das der Datenraum einer echten Firmenübernahme mit rund 2.000 anonymisierten Dateien. Die Agenten arbeiten in der Umgebung ihres Herstellers, also Claude Code, Codex oder Antigravity, sonst in OpenCode. Jede Aufgabe läuft dreimal, alle elf Gebiete zählen gleich.

Gewertet wird streng. Bei Finanzen und Recht zählt eine Aufgabe nur, wenn das Ergebnis abgabefertig ist. Eine einzige falsche Schlüsselzelle in einer Excel-Mappe reicht laut den Autoren zum Durchfallen. In anderen Gebieten gibt es Teilpunkte. Getestet wurden 20 Modelle, die Rangliste ist öffentlich.

Fast fertig zählt nicht

Am deutlichsten wird das bei Finanzen und Recht. In den 24 Finanzaufgaben steht bei 19 von 20 Modellen eine Null, nur Gemini 4 Carbon kommt auf 2,8 Prozent. In den 20 Rechtsaufgaben steht bei allen eine Null. Zählt man stattdessen die einzelnen Prüfpunkte, sieht es anders aus: Opus 5.5 erfüllt in Finanzen 54,6 Prozent davon, GPT-6 Astra 52,9 und GPT-6.1 Sol 52,0.

Woran es scheitert, zeigen die zwei Aufgaben, die SemiAnalysis offengelegt hat. In der Finanzaufgabe soll der Agent bei einem Firmenkauf die Auswertung der Ertragsqualität überarbeiten, eine Excel-Mappe, wie sie Prüfer für den Käufer anlegen. In 25 Versuchen gelang das keinem Modell. Im Schnitt erfüllte GPT-6.1 Sol 5,6 von 11 Prüfpunkten, der beste Lauf 8 von 11. Die Fehler sieht ein erfahrener Prüfer sofort: 15 Läufe rechneten das Erfolgshonorar der Bank in die Nettoschulden, obwohl der Kaufvertrag es gesondert abzieht. 17 ließen das Gehalt eines Familienmitglieds, das keine Stunden gearbeitet hatte, als Betriebskosten stehen. 10 der 15 stärksten Läufe übersahen eine Rabattaktion über 9.192 Dollar.

In der Rechtsaufgabe soll der Agent für einen Investor die Satzung bei einer Finanzierungsrunde überarbeiten. Von 20 Entwürfen war keiner brauchbar, Opus 5.5 kam im Schnitt auf 44 Prozent der Punkte. 14 Läufe übernahmen die Wünsche aus einer Mail des Mandanten, ohne zu merken, dass sie bereits unterschriebene Eckpunkte wieder aufmachen. Alle 20 übersahen, dass die Firma die Schutzrechte des Investors über eine Tochtergesellschaft umgehen kann.

Vertrauliches unter Zeitdruck

Ein eigener Teil prüft, ob Agenten sich an Regeln halten. In drei Aufgaben helfen sie einem Versicherungsmakler, eine Vertragsverlängerung noch am selben Tag fertigzubekommen. Der Versicherer fragt nach Angaben, die nur in vertraulichen Unterlagen des Kunden stehen. Von 60 Läufen mit Opus 5.5, GPT-6 Astra, Gemini 4 Argon und GLM-5.3 kamen nur 6 über null Punkte. Die übrigen 54 begingen einen schweren Verstoß. Die Agenten gaben Kundendaten, Vertragswerte und Investitionsbudgets weiter.

Unsere Auswertung: was ein Ergebnis kostet

Die Rangliste nennt neben dem Ergebnis die durchschnittlichen Kosten je Aufgabe. Wir haben die Rohdaten der Seite ausgelesen, 280 Einzelergebnisse, die Rangliste nachgerechnet (sie stimmt) und Ergebnis gegen Kosten gelegt.

• GPT-6.1 Sol erreicht 70 % des Opus-Ergebnisses für 9,80 statt 51,41 Dollar, also für 19 % der Kosten.
• Gemini 4 Carbon kommt auf 90 % für 32 % der Kosten, ist aber noch nicht frei verfügbar.
• Sonnet 5.5 ist das Gegenbeispiel. Es braucht im Schnitt 967.000 Token je Aufgabe, 1,8-mal so viele wie Opus. Am Ende kostet es 45,27 Dollar, 88 % von Opus, für 68 % des Ergebnisses.
• Das beste offene Modell, DeepSeek 4.1 Flash, liefert 45 % für 94 Cent.

Der Haken

• Die Auswahl. Chipentwurf, algorithmischer Börsenhandel, Materialforschung, die Weiterentwicklung von KI selbst: Die Autoren haben die Gebiete gewählt, in denen sie den meisten KI-Umsatz erwarten. Verwaltung, Immobilien und Versicherungen haben sie bewusst weggelassen. Für einen Maschinenbauer sagt die Gesamtnote wenig. Die Teile zu Finanzen, Recht und Software sagen mehr.
• Die strenge Wertung. Ganz oder gar nicht passt zu einer Abgabe an Kunden. Als Entwurf, den jemand prüft, spart ein Ergebnis mit der Hälfte der Prüfpunkte trotzdem Arbeit.
• Die Sicherheitsfilter. Opus 5.5 und GPT-6 Astra verweigern bei Biologie, Cyberangriffen und Regeltests öfter, das drückt ihre Note. Ohne diese drei Gebiete liegt Astra mit 11,8 knapp vor Opus mit 11,7.
• Die Interessen. SemiAnalysis verkauft Analysen an die Branche. Die Partnerfirmen verkaufen solche Übungsaufgaben an KI-Labore, laut dem Bericht für 5.000 Dollar und mehr je Aufgabe. Schwere Tests sind ihr Geschäft. Dazu kommen kleine Mengen: drei Versuche je Aufgabe, 10 bis 34 Aufgaben je Gebiet, nur zwei Aufgaben öffentlich.

Was das für den Mittelstand heißt

Der Test bestätigt, was viele im Alltag sehen: KI-Agenten kommen weit, aber selten ganz an. Die Lücke liegt dort, wo Erfahrung zählt, bei der Frage, welcher Posten nicht in die Rechnung gehört oder welche Mail eine Abmachung heimlich wieder aufmacht. Gefährlicher als ein falsches Ergebnis ist eines, das fertig aussieht.

Was Sie jetzt tun sollten

1. Abgaben in Prüfpunkte zerlegen. Schreiben Sie für jede Aufgabe, die ein Agent übernehmen soll, auf, woran ein erfahrener Kollege ein richtiges Ergebnis erkennt. Der Agent liefert den Entwurf, ein Mensch hakt die Punkte ab, die Geld oder Haftung kosten.
2. Kosten je brauchbarem Ergebnis messen, nicht je Token. Ein Modell, das doppelt so lange arbeitet, ist nicht billiger. Lassen Sie zwei oder drei Modelle dieselben zehn Fälle bearbeiten und rechnen Sie aus, was ein brauchbares Ergebnis kostet.
3. Vertrauliches trennen. Geben Sie Agenten nur die Unterlagen, die sie für die Aufgabe brauchen, und lassen Sie nichts ohne Freigabe nach außen gehen. 54 von 60 Läufen zeigen, warum.
4. Eigene Prüffälle anlegen. 10 bis 20 abgeschlossene Fälle aus Ihrem Haus mit bekanntem Ergebnis sind ein besserer Maßstab als jede Rangliste und jede Vorführung.
5. In einem halben Jahr nachmessen. SemiAnalysis will alle drei bis sechs Monate eine neue Fassung bringen. Wer eigene Prüffälle hat, sieht selbst, wann ein Arbeitsschritt reif ist.

Zwölf Prozent klingt nach wenig. Es heißt aber nicht, dass KI im Büro nichts taugt, sondern dass sie den letzten Schritt noch nicht allein schafft. Wenn Sie herausfinden wollen, welche Ihrer Aufgaben schon so weit sind und wo der Mensch den Schlussstein setzt, rechnen wir das gern mit Ihnen an Ihren eigenen Fällen durch.