Von 5 auf 87 Prozent: KI übersetzt jetzt COBOL. Was das für Ihre Altsysteme heißt

TL;DR. Am 19. Oktober hat OpenAI zwei Messungen zu alten Programmiersprachen veröffentlicht. Beim Übertragen von COBOL-Programmen in moderne Sprachen gelingt dem neuen Modell GPT-6.1 Sol die Aufgabe in 86,6 % der Fälle fehlerfrei, seinem Vorgänger in 5,4 %. Mit mehr Rechenzeit sind es 97,9 %. Damit wird KI zum ersten Mal ein ernsthaftes Werkzeug für Alt-Code in COBOL, Fortran und Visual Basic. Ein unabhängiger Test vom selben Tag zeigt aber die Grenze: Bei ganzen Programmen gelingt eine vollständig fehlerfreie Übertragung selten. Wer Altsysteme hat, sollte jetzt nicht zuerst die KI auswählen, sondern die Tests vorbereiten.

Was OpenAI gemessen hat

OpenAI spricht von Sprachen mit wenig Trainingsmaterial. Für COBOL, Fortran oder Visual Basic gibt es im Netz viel weniger Code und Dokumentation als für Python, und Programmiermodelle taten sich damit bisher schwer. Trotzdem laufen darauf Banken, Versicherungen und Wetterdienste. Laut IBM, auf die OpenAI verweist, wickelt COBOL 95 % der Transaktionen an Geldautomaten ab.

Die erste der beiden Messungen prüft eine Migration. Ein Modell soll COBOL-Programme nach Java, Python, C++, Kotlin oder Rust übertragen, ohne dass sich ihr Verhalten ändert. Geprüft wird mit verborgenen Tests, die Ausgaben müssen Byte für Byte gleich sein. Eine Migration zählt nur, wenn alle Tests bestehen.

Bei gleicher Einstellung kommt GPT-5.6 Sol auf 5,4 %, das neue GPT-6.1 Sol auf 86,6 %, und das bei 39 % niedrigeren Kosten. Mit höherem Rechenaufwand steigt der Wert auf 97,9 %. Laut OpenAI ist damit das Maximum der Messung fast erreicht.

Die zweite Messung heißt MultiLangBench. Hier soll das Modell in einer vorgegebenen Sprache eine Datenbank bauen, die sich wie SQLite verhält, in einer langen Programmiersitzung ohne Internet. GPT-6 Astra besteht im Schnitt über 20 Sprachen 87,4 % der Tests, GPT-5.6 Sol nur 26,8 %. Am schwersten bleibt COBOL.

Warum alter Code so tückisch ist

OpenAI nennt selbst das beste Beispiel. COBOL schneidet bei Festkommazahlen überzählige Nachkommastellen ab, außer der Programmierer hat ausdrücklich Runden verlangt. Eine Neufassung in Java oder Python, die stattdessen kaufmännisch rundet, läuft fehlerfrei und rechnet trotzdem anders.

Wir haben nachgerechnet, was das ausmacht: Monatszins bei 3,5 % im Jahr auf eine Million Beträge zwischen 100 und 10.100 Euro, in Cent-Schritten. Aus 1.000,00 € werden 2,9166… € Zins. COBOL bucht 2,91 €, die Neufassung 2,92 €. Über alle Beträge weicht genau jede zweite Buchung um einen Cent ab, zusammen sind das 5.000 Euro im Monat.

Ein Test, der nur prüft, ob das neue Programm läuft, findet diesen Fehler nicht. Ein Vergleich mit den alten Ausgaben findet ihn sofort.

Das Kleingedruckte

• Der Hersteller misst sich selbst. OpenAI hat Aufgaben und Bewertung selbst gebaut. Die COBOL-Programme sind nicht veröffentlicht, ihre Zahl und ihren Umfang nennt OpenAI nicht.
• Der offene Test ist gut dokumentiert. MultiLangBench steht frei auf GitHub. Von 24.000 umgewandelten SQLite-Tests sollen für die Wertung nur 272 laufen. Und das Modell bekommt die vollständige SQLite-Dokumentation mit. Genau die fehlt bei Alt-Code oft.
• Ihre Sprache fehlt vielleicht. Unter den 20 Sprachen sind COBOL, Fortran und Visual Basic. ABAP, RPG für IBM-i-Systeme, PL/I und Delphi sind nicht dabei.
• OpenAI sagt es selbst: Software im Produktivbetrieb braucht weiterhin eine fachkundige Prüfung und Tests anhand der eigenen Geschäftsregeln.

Die Gegenprobe: ganze Programme

Am selben Tag hat Vals AI, ein unabhängiger Prüfdienst, seine Messung zur Code-Migration erneuert. Dort übertragen die Modelle 30 echte Open-Source-Programme in je vier andere Sprachen. Das sind 120 Migrationen, jede geprüft mit 100 bis 400 verborgenen Verhaltenstests. Die Programme sind in modernen Sprachen geschrieben. Ein COBOL-Teil gehört dazu, eine eigene Zahl dafür veröffentlicht Vals nicht.

Die besten Modelle bestehen rund vier von fünf Tests. Vorn liegt Claude Sonnet 5.5 mit 86,9 %, GPT-6 Astra kommt auf 80,6 %. Beim besten Modell besteht fast jede Migration mindestens die Hälfte ihrer Tests. Alle Tests besteht selbst das beste Modell nur selten.

Der Abstand zu OpenAIs 97,9 % ist kein Widerspruch. Er zeigt, dass „fehlerfrei“ davon abhängt, wie groß ein Programm ist und wie viele Tests es prüfen. Je größer das System, desto sicherer bleibt ein Rest, den ein Mensch finden muss.

Was das für einen Mittelständler heißt

In vielen Betrieben läuft Code, den niemand mehr gern anfasst: die Warenwirtschaft auf einem IBM-i-System, ein Kalkulationswerkzeug in Visual Basic, ein Berechnungsprogramm in Fortran aus der Konstruktion. Die Regeln darin stehen oft nirgends sonst, und der Kollege, der sie kannte, geht bald in Rente. Bisher war eine Übertragung so teuer, dass sie immer wieder verschoben wurde. Das ändert sich gerade. Lesen und Übersetzen erledigt die KI zunehmend gut, der Engpass wandert vom Programmieren zum Prüfen. Wer heute die alten Ein- und Ausgaben sammelt, hat morgen den Prüfer, den auch OpenAI für seine 97,9 % gebraucht hat.

Was Sie jetzt tun sollten

1. Bestand aufnehmen. Welche Programme laufen in welcher Sprache, wer kennt sie noch, was hängt an ihnen? Eine Seite reicht.
2. Die alten Ausgaben sichern. Sammeln Sie echte Eingaben und die zugehörigen Ergebnisse: Listen, Belege, Exporte. Das sind Ihre Tests. Ohne sie lässt sich keine Migration prüfen, egal wer sie macht.
3. Klein anfangen. Lassen Sie ein abgegrenztes Programm, etwa einen nächtlichen Batch-Lauf, von der KI übertragen und vergleichen Sie das Ergebnis Byte für Byte mit dem alten.
4. Die Sonderregeln aufschreiben. Rundung, Abschneiden, leere Felder, Datumsgrenzen: Die Fachabteilung bestätigt, was richtig ist, bevor die KI es entscheidet.
5. Die eigene Sprache prüfen. Steht sie nicht in den Tests der Hersteller, gelten deren Zahlen nicht für Sie. Dann zuerst mit einem kleinen eigenen Test messen.

Alter Code war lange eine Frage der Leute, die ihn noch lesen können. Mit den neuen Modellen wird er eine Frage der Tests. Wenn Sie einmal durchgehen wollen, welches Ihrer Altsysteme sich dafür eignet, sprechen Sie uns gern an.