Kimi K3.1 Pro: drei Punkte hinter der Spitze, bald zum Herunterladen. Was die Gesamtnote verschweigt

TL;DR. Am 23. Oktober hat Moonshot AI aus Peking Kimi K3.1 Pro vorgestellt. Im unabhängigen Index von Artificial Analysis kommt das Modell auf 55 Punkte, Spitzenreiter Claude Opus 5.5 auf 58. Bis zum 4. November will Moonshot die Gewichte freigeben. Dann darf jede Firma das Modell selbst betreiben oder betreiben lassen. Vor neun Tagen lag das beste offene Modell noch 12 Punkte hinter der Spitze. Der Abstand zwischen offenen und geschlossenen Modellen schrumpft auf drei Punkte. Die Gesamtnote verdeckt aber, wo das Modell schwach ist, und günstig je Wort heißt nicht günstig je Aufgabe.

Was Moonshot vorgestellt hat

Kimi K3.1 Pro ist laut Moonshots Ankündigung ein nachtrainiertes Kimi K3. Das Grundmodell hat laut Modellkarte 2,8 Billionen Parameter, von denen je Wort 104 Milliarden arbeiten, und liest bis zu einer Million Token. Nachgeschärft hat Moonshot vor allem lange Programmierarbeiten und Büroaufgaben mit Tabellen und Finanzzahlen.

Im Index von Artificial Analysis, der viele Einzeltests zu einer Zahl zusammenfasst, springt es von 44 auf 55 Punkte. Davor stehen nur Claude Opus 5.5 mit 58 sowie Claude Sonnet 5.5 und Metas Muse Wonder Full mit je 56.

Heute gibt es das Modell nur über Moonshots eigenen Dienst. Beim Vorgänger K3 kamen die Gewichte im Juli elf Tage nach der Vorstellung. Kommen sie diesmal auch, ist K3.1 Pro das stärkste Modell, das man herunterladen kann. Als wir am 16. Oktober über Muse Spark Open schrieben, stand das beste offene Modell bei 46 Punkten. Das gilt bis heute.

Halber Preis je Wort, nicht je Aufgabe

Moonshot verlangt 2 Dollar je Million Eingabe-Token und 10 Dollar je Million Ausgabe-Token, ein Drittel weniger als für K3. Opus 5.5 kostet laut Artificial Analysis das Doppelte, 4 und 20 Dollar. Doch Kimi schreibt viel: Für den Index erzeugte es 150 Millionen Ausgabe-Token, der Median aller Modelle liegt bei 87 Millionen. Artificial Analysis rechnet deshalb die Kosten je Aufgabe aus.

Je Aufgabe kostet K3.1 Pro 2,11 Dollar. Opus 5.5 kostet auf höchster Stufe 5,98 Dollar, auf der Stufe „high“ aber nur 1,82 Dollar, bei 54 statt 55 Punkten. Die eingestellte Denktiefe macht bei Opus also mehr aus als der Wechsel zu Kimi. Wer Modelle vergleicht, sollte deshalb nicht Preislisten nebeneinanderlegen, sondern dieselben Aufgaben rechnen lassen.

Unsere Auswertung: Wo die Gesamtnote täuscht

Ein Index ist ein Durchschnitt. Für einen Betrieb zählt, wie das Modell bei den eigenen Aufgaben abschneidet. Vals AI prüft Modelle unabhängig in Fachgebieten. Wir haben am 25. Oktober die Plätze von K3.1 Pro in fünf dieser Tests herausgeschrieben.

Beim Programmieren im Terminal ist K3.1 Pro Dritter von 55 Modellen, im Gesamtindex Achter von 27. Bei Steuerfällen und Finanzaufgaben landet es im Mittelfeld, bei Rechtsfragen auf Platz 22 von 28. Wer Verträge vorprüfen oder Steuerfragen sortieren lassen will, liest aus der Spitzenzahl also wenig ab.

Der Haken

• Noch nicht offen. Bis die Gewichte da sind, läuft jede Anfrage über Moonshot. Der Vermittler OpenRouter bietet für das Modell keine Verarbeitung innerhalb der EU an. Die Lizenz für K3.1 Pro hat Moonshot noch nicht genannt.
• Nichts für den Serverraum. Schon die Gewichte von K3 wiegen 1,56 Terabyte. Das Betriebsrezept von vLLM nennt als Untergrenze acht Nvidia-GB300 mit je 288 Gigabyte, für echten Betrieb mehrere solcher Rechner.
• Eigener Prüfstand. Viele Werte in Moonshots Ankündigung stammen aus internen Tests. Beim Programmiertest hat Moonshot 65,7 % gemessen und die Werte der Konkurrenz aus Blogs und Ranglisten übernommen. Vals misst unabhängig 63,6 %.
• Absichtlich gebremst. Für die offene Fassung hat Moonshot Trainingsdaten zu Cyberangriffen entfernt. Im eigenen Angriffstest sank der Wert dadurch von 90,5 auf 81,0. Das ist gewollt. Wer das Modell für Sicherheitsprüfungen eigener Systeme einplant, bekommt damit bewusst weniger.

Was das für den Mittelstand heißt

Für Daten, die Ihr Haus nicht verlassen sollen, gibt es bald eine Wahl nahe der Spitze, betrieben von einem Rechenzentrum Ihrer Wahl. Wie groß diese Auswahl wird, zeigt der Vorgänger: Allein über den Vermittler OpenRouter bieten K3 heute 21 Anbieter an, darunter Amazon Bedrock, Together und DeepInfra.

Wichtiger als die Frage, wer gerade vorn liegt, ist das Tempo. Der beste offene Wert stieg in neun Tagen von 46 auf 55 Punkte. Wer seine Anwendung fest an ein Modell bindet, zahlt bei jedem Wechsel. Wer das Modell als austauschbares Teil behandelt, nimmt jede Verbesserung mit, ob sie aus Kalifornien oder aus Peking kommt.

Was Sie jetzt tun sollten

1. Nicht nach der Gesamtnote wählen. Suchen Sie die Fachtests, die Ihren Aufgaben am nächsten kommen. Besser noch: Prüfen Sie mit 30 eigenen, unkritischen Aufgaben.
2. Je Aufgabe rechnen. Lassen Sie dieselben Aufgaben durch zwei oder drei Modelle laufen und vergleichen Sie die Rechnung, nicht die Preisliste. Probieren Sie auch die niedrigere Denkstufe.
3. Auf die Gewichte warten. Schicken Sie keine Firmendaten an einen Dienst, dessen Verarbeitungsort und Bedingungen Sie nicht geprüft haben. Fragen Sie nach dem 4. November Ihren Cloud-Anbieter, ob und wo er das Modell betreibt.
4. Das Modell austauschbar halten. Mit einer Schicht zwischen Anwendung und Modell und einem festen Satz eigener Prüfaufgaben wird ein Wechsel zur Einstellung statt zum Projekt.
5. Die Lizenz lesen, sobald sie da ist. Beim Vorgänger ist die interne Nutzung frei von Auflagen. Ob das für K3.1 Pro gilt, steht noch nicht fest.

Kimi K3.1 Pro zeigt, wie schnell der Vorsprung der geschlossenen Modelle schmilzt. Die Wahl wird dadurch nicht einfacher, nur größer. Wenn Sie für Ihre Aufgaben einmal sauber vergleichen möchten, welches Modell wofür taugt, sprechen Sie uns gern an.