Was wir gemacht haben. Wir haben 13 KI-Modellen dieselben Aufgaben aus Vertrieb und Marketing gegeben, zum Beispiel: „Erstelle einen GTM-Pitch für [Produkt].“ Jedes Modell hat seine eigene Version gebaut. Dann haben zwei KI-Richter die Ergebnisse verglichen, immer zwei nebeneinander, ohne zu wissen, welches Modell welches gebaut hat. Seit dem 3. September sind so 353 Messläufe zusammengekommen, für Pitches, aber auch für Dokumente und Bilder.
Was wir gelernt haben. Es gibt kein bestes Modell. Ein offenes Modell war so gut wie Claude Opus und dabei günstiger. Eine Note von 1 bis 10 schwankt stärker, als sich viele Modelle unterscheiden. KI-Richter bevorzugen ihre eigene Modellfamilie. Und drei kleine Regeln für Layout und Text haben mehr gebracht als jeder Modellwechsel. Wer KI für Inhalte nutzt, sollte deshalb zuerst festlegen, woran er ein gutes Ergebnis erkennt, und erst dann ein Modell wählen.
- 353Messläufe seit dem 3. September
- 99Pitches blind verglichen
- 13KI-Modelle im Test
- 17/20Siege für drei kleine Regeln
Was wir gemessen haben
Das Brand Studio ist unsere Marken-KI. Es baut Präsentationen, Broschüren und Dokumente im Design eines Unternehmens, mit dessen Bildern, Produktdaten und Regeln. Dafür braucht es vier Arbeiten, die sich sonst Agentur, Grafik und Text teilen: Inhalte planen, Texte schreiben, Bilder auswählen oder erzeugen und Seiten gestalten.
Jede dieser Arbeiten haben wir seit dem 3. September gemessen. Ein Messlauf heißt bei uns: einmal komplett bauen, unter festen Bedingungen. Gleicher Auftrag, gleiche Daten. Danach bewerten wir das Ergebnis und schreiben Zeit und Kosten auf.
353 Messläufe, jeder Punkt ist einer
Präsentationen 233Dokumente 30Bilder 63Tempo und Kosten 27
Wahrscheinlich waren es mehr. Wir zählen nur Läufe, die wir in Protokollen oder Ergebnisdateien belegen können. Wenn eine spätere Messung eine frühere korrigiert hat, steht hier die korrigierte Zahl.
Lektion 1: Eine Note sagt weniger, als man denkt
Am Anfang hat ein KI-Richter jeden Pitch mit einer Note von 1 bis 10 bewertet. Dann haben wir genau denselben Aufbau zweimal laufen lassen. Einmal kam 6,74 heraus, einmal 6,34. Nichts war anders, nur der Zufall. Diese 0,4 Punkte sind mehr, als viele Modelle auseinanderliegen.
Deshalb vergeben wir keine Noten mehr, sondern lassen Pitches gegeneinander antreten. Zwei Pitches zum selben Auftrag liegen nebeneinander. Der Richter weiß nicht, von wem sie sind, und wählt den besseren. Zwei Richter sehen sich jedes Paar an, und zwar zweimal: einmal links, einmal rechts. So entsteht ein Duell nach dem anderen, und wir zählen, wie oft eine Variante gewinnt. 50 % heißt: gleich gut. Zur Probe haben wir zwei gleich gebaute Varianten gegeneinander antreten lassen. Sie kamen auf 55 %. So viel Spielraum hat der Zufall.
Auf diese Weise haben wir am 10. Oktober 99 Pitches von zehn Modellen gebaut und verglichen, dazu drei GPT-Modelle in einem zweiten Durchgang. Die besten Pitches kamen von Kimi K3, einem offenen Modell, das jeder herunterladen kann. Claude Opus 5.5 hielt mit: Bei 16 zu 14 Duellen gibt es keinen klaren Sieger. Opus kostete aber 1,42 € pro Pitch, Kimi 1,19 €. Das Ergebnis für Opus kommt aus einer korrigierten Messung, dazu unten mehr. DeepSeek V4.1 Flash war viel schneller und billiger: 52 Sekunden und 0,13 € statt 250 Sekunden und 1,17 € bei Kimi. Dafür gewann es nur jedes fünfte Duell.
Der Modell-Garten: Je höher die Pflanze, desto öfter gewann das Modell
Kimi K3, unser Maßstabnicht von Kimi zu unterscheidenklar schwächernicht im Vergleich
Dieses Bild ist ehrlicher als jede Rangliste. DeepSeek V4 Pro (35 %) und V4 Pro 0813 (30 %) sehen schwächer aus als Kimi. Bei so wenigen Duellen können wir das aber nicht sicher sagen: Ihre Spannen reichen bis über 50 %. Klar schwächer sind nur Claude Sonnet 5.5, DeepSeek V4.1 Flash und die beiden GPT-Sol-Modelle. Fünf Modelle kamen gar nicht erst in den Vergleich. Qwen 3.8, GLM 5.3 und MiniMax M3 bauten nur 3 von 5 Pitches, GLM 5.3 Flash keinen einzigen. Und GPT-6.1 Sol konnte bei uns die Werkzeuge nicht nutzen, die man zum Bauen braucht.
Lektion 2: Auch KI-Richter haben Lieblinge
Wenn eine KI bewertet, muss man auch den Richter prüfen. Kimi gab seinen eigenen Pitches im Schnitt 7,7 Punkte. Ein GPT-Richter gab denselben Pitches 6,6. Andersherum genauso: Der GPT-Richter ließ GPT-Pitches 14 von 20 Duellen gegen Kimi gewinnen. Mit Opus als Richter gewannen sie kein einziges.
Dieselben Pitches, andere Richter
Punkte für dieselben Kimi-Pitches, von 0 bis 10
So oft gewinnen GPT-Pitches gegen Kimi, von 20 Duellen
Ein zweiter Fehler war ganz banal. Auf fünf Bildschirmfotos von Opus-Pitches stand ein Hinweis aus unserer Entwicklungsumgebung: „2 Issues“. Die Richter zogen dafür Punkte ab. Erst als wir das behoben hatten, lag Opus gleichauf mit Kimi. Seitdem bewertet kein Modell die eigene Familie allein. Und wir schauen nach, was die Richter wirklich zu sehen bekommen.
Lektion 3: Kleine Regeln schlagen große Modelle
Die größte Verbesserung kam nicht von einem neuen Modell. Wir haben drei kleine Regeln für Layout und Text eingeführt, alle auf einmal. Damit gewann das Studio 17 von 20 Blindduellen gegen seinen alten Stand. Beide Richter waren sich einig. Nebenbei wurde es schneller, 187 statt 250 Sekunden pro Pitch, und billiger, 1,08 € statt 1,17 €.
Wie oft eine Änderung im Blindduell gewann
Auch wer Zeit sparen will, sollte schauen, was dabei verloren geht. Lässt man Kimi kurz statt gründlich nachdenken, ist ein Pitch in 79 statt 199 Sekunden fertig. Er gewinnt dann noch 40 % der Duelle. Wir haben auch zwei Modelle die Arbeit teilen lassen: eins plant, eins schreibt. Plant das schnelle Modell und schreibt das gute, gewinnt das Gespann nur 20 %. Plant das gute und schreibt das schnelle, sind es 28 %. Sparen, ja. Aber nicht an der Planung.
Eine zweite Zählung zeigt in dieselbe Richtung. In unseren Präsentationen entscheidet der Planer bei 84 % der Seiten, wie sie aufgebaut sind. Die Gestaltung danach ändert nur 16 %. Wer bessere Seiten will, fängt also bei der Planung an.
Wie groß der Unterschied zwischen einer gewöhnlichen und einer gut gestalteten Folie ist, sieht man am besten am selben Material. Hier zwei Beispiele, jeweils mit gleichem Foto und gleichem Inhalt:
Beispiel: gewöhnliche Folie und gestaltete Folie aus demselben Material
Es gibt kein bestes Modell, nur das passende
Die Frage, die wir am häufigsten hören: Welches Modell ist das beste? Unsere Messungen sagen, dass die Frage nicht passt. Ein Modell ist für eine bestimmte Aufgabe gut oder schlecht, nicht an sich. Das sieht man, wenn man Kosten und Qualität nebeneinanderlegt.
Was ein Pitch kostet und wie oft er gewinnt
Kimi K3, unser Maßstabanderes Modellzwei Modelle oder Abkürzungkein Duell gewonnen
Drei Dinge fallen auf. Erstens: Teurer heißt nicht besser. Claude Sonnet 5.5 kostet mehr als Kimi mit kurzem Nachdenken und gewinnt seltener. Zweitens: Sehr billig geht, aber nicht für alles. DeepSeek V4.1 Flash ist neunmal günstiger und gewinnt jedes fünfte Duell. Für einen ersten Entwurf kann das reichen, für die Präsentation vor dem Vorstand nicht. Drittens: Manche Modelle fallen ganz raus. GPT-6.1 Sol konnte bei uns die nötigen Werkzeuge nicht nutzen und hat keinen einzigen Pitch gebaut. Wer in öffentlichen Ranglisten oben steht, passt deshalb noch lange nicht zu Ihrer Aufgabe.
Daraus ist bei uns eine Art Aufstellung geworden. Jede Aufgabe bekommt das Modell und die Methode, die im Test genau für diese Aufgabe gewonnen haben:
- Planendas stärkste Modell, mit Zeit zum NachdenkenPlant ein schnelles Modell, gewinnt das Ergebnis nur noch 20 %. Der Planer entscheidet bei 84 % der Seiten, wie sie aufgebaut sind.
- Schneller Entwurfein starkes Modell, das kurz nachdenkt79 statt 199 Sekunden, und es gewinnt noch 40 %.
- Bauen mit Werkzeugennur Modelle, die Werkzeuge zuverlässig bedienenEin Spitzenmodell baute bei uns keinen einzigen Pitch.
- Bewertenein Richter aus einer anderen Familie, blind und im PaarDie eigene Familie bekam 7,7 statt 6,6 Punkte und 14 von 20 Siegen.
- Layout prüfenein Programm misst nach, statt dass eine Bild-KI draufschautDrei Bild-KIs übersahen abgeschnittenen Text. Das Nachmessen fand ihn.
- Bilder mit Schriftneu erzeugen statt nachbessernFoto bearbeiten: 0 von 12 Beschriftungen fehlerfrei. Neu erzeugen: 7 von 7.
Diese Aufstellung passt zu unseren Aufgaben und unseren Daten. Ihre sieht anders aus. Genau deshalb lohnt es sich, selbst zu testen, statt einer Rangliste aus dem Internet zu folgen.
Lektion 4: Der häufigste Textfehler ist die Floskel
Wir bewerten auch die Texte in jedem Pitch. Ein strenger Prüfer liest jede Seite und notiert, was ihn stört. In einem Lauf über Nacht mit 34 Präsentationen fand er in 22 von 27 Gutachten Floskeln. Danach kamen leere Schlussseiten (13), Wiederholungen (12) und Text, der auf einem Bild schlecht lesbar war (12).
In einer zweiten Reihe mit 38 Gutachten lagen andere Fehler vorn: Wiederholungen (49 Stellen), Bilder, die fehlen oder nicht passen (42), leere Flächen (31) und Ergebnisse, die am Auftrag vorbeigingen (31). Gute Texte kommen also nicht allein von einem besseren Modell. Sie kommen von einer Prüfung, die Floskeln und Wiederholungen findet und zum Überarbeiten zurückschickt.
Lektion 5: Bei Bildern lieber neu erzeugen als nachbessern
Bild-KIs machen Produkte täuschend echt. Verraten werden sie von der kleinen Schrift auf dem Produkt. Wir haben das an Produktbildern mit feiner Beschriftung gezählt, in 63 Läufen mit einem Bildmodell. Der naheliegende Weg ist, ein vorhandenes Foto zu bearbeiten. Das ergab in 0 von 12 Fällen eine fehlerfreie Beschriftung. Das Bild ganz neu zu erzeugen, mit dem genauen Text in Anführungszeichen im Auftrag, klappte 7 von 7 Mal.
Fehlerfreie Beschriftung, jeder Punkt ein Versuch
Ganze Szenen bleiben schwer: 36 Versuche für 4 brauchbare Bilder. Und Details hängen an genauen Worten. Ein Bauteil sollte auf der richtigen Seite sitzen. Mit dem Fachbegriff klappte das in 2 von 5 Fällen, mit einer genauen Beschreibung in 3 von 3. Nimmt das Produkt weniger als etwa ein Drittel der Bildbreite ein, geht die Schrift fast immer kaputt. Das sind kleine Zahlen, drei bis zwölf Versuche je Fall. Die Richtung ist trotzdem klar.
Lektion 6: Erst schauen, was Nutzer wirklich tun
Elf Runden lang haben wir verbessert, wie Claude über unser Studio Broschüren und Word-Dokumente baut. PDF-Broschüren brauchen jetzt halb so viele Schritte, 16 statt 32. Ein Word-Dokument ist in 120 statt 224 Sekunden fertig und kostet ein Drittel weniger. Verstöße gegen die Markenregeln gibt es keine mehr, vorher waren es bis zu vier pro Broschüre. Ohne das Studio brauchte Claude für ein Word-Dokument 17 bis 28 Minuten.
Dann haben wir in die Protokolle geschaut, wie das Studio wirklich genutzt wird. Die Leute bauen fast nur Präsentationen. Wir hatten einen Weg perfekt gemacht, den kaum jemand nimmt. Seitdem fängt jede Testreihe mit einem Blick auf die echte Nutzung an.
Ein letzter Test zeigt, wie viel an Kleinigkeiten hängt. In claude.ai sieht das Modell von jeder Werkzeugbeschreibung nur die ersten rund 80 Zeichen. Stand weiter hinten, wofür das Werkzeug da ist, nahm Claude es für Broschüren in 0 von 3 Fällen. Stand es am Anfang, in 3 von 3.
Wie wir gerechnet haben und wo die Grenzen sind
Alle Prozentwerte kommen aus blinden Duellen. Die Richter sehen zwei Ergebnisse zum selben Auftrag, ohne zu wissen, von welchem Modell sie stammen. Jedes Paar sehen sie zweimal, einmal in vertauschter Reihenfolge. So bringt es keinen Vorteil, links oder rechts zu stehen. Zu jedem Wert geben wir eine Spanne an. Sie zeigt, wie sicher wir sind. Wir rechnen sie nach der Methode von Wilson als 95-%-Intervall, weil sie auch bei wenigen Duellen und bei Werten nahe 0 oder 100 % vernünftige Grenzen liefert. Zeiten sind mittlere Werte (Median). Kosten sind die Beträge, die in der jeweiligen Testreihe wirklich abgerechnet wurden.
| Was wir getestet haben | Wie oft | Ergebnis | Spanne |
|---|---|---|---|
| Drei kleine Regeln gegen alten Stand | 20 Duelle | 85 % | 64–95 % |
| Claude Opus 5.5 gegen Kimi K3 | 30 Duelle | 53 % | 36–70 % |
| DeepSeek V4 Pro gegen Kimi K3 | 20 Duelle | 35 % | 18–57 % |
| DeepSeek V4 Pro 0813 gegen Kimi K3 | 20 Duelle | 30 % | 15–52 % |
| Claude Sonnet 5.5 gegen Kimi K3 | 20 Duelle | 20 % | 8–42 % |
| DeepSeek V4.1 Flash gegen Kimi K3 | 20 Duelle | 20 % | 8–42 % |
| GPT-6 Sol und GPT-5.6 Sol gegen Kimi K3, je | 10 Duelle, ein Richter | 0 % | 0–28 % |
| Gegenprobe: zwei gleich gebaute Varianten | 20 Duelle | 55 % | 34–74 % |
| Kimi denkt kurz gegen gründlich | 5–10 Pitches je Variante | 40 % | 30–52 % |
| Kimi plant, Flash schreibt | 5–10 Pitches je Variante | 28 % | 19–38 % |
| Flash plant, Kimi schreibt | 5–10 Pitches je Variante | 20 % | 8–42 % |
| GPT-Richter lässt GPT-Pitches gewinnen | 20 Duelle | 70 % | 48–85 % |
| Opus-Richter lässt GPT-Pitches gewinnen | 20 Duelle | 0 % | 0–16 % |
| Floskeln in den Gutachten eines Laufs über Nacht | 27 Gutachten | 81 % | 63–92 % |
| Fehlerfreie Beschriftung, Foto bearbeitet | 12 Versuche | 0 % | 0–24 % |
| Fehlerfreie Beschriftung, neu erzeugt | 7 Versuche | 100 % | 65–100 % |
| Derselbe Aufbau, zweimal benotet | 2 Bauten | 6,74 / 6,34 | Abstand 0,4 |
50 % heißt: gleich gut wie die Variante, gegen die getestet wurde. Reicht die Spanne über 50 %, können wir keinen Unterschied belegen.
Zur Ehrlichkeit gehören die Grenzen. Viele Varianten beruhen auf nur fünf bis zehn Pitches. Die Bilder haben wir nur mit einem einzigen Bildmodell getestet. Die Kosten schwanken von Testreihe zu Testreihe, bei Kimi K3 zum Beispiel zwischen 1,13 und 1,19 € pro Pitch. Und KI-Richter sind selbst Modelle mit Vorlieben. Deshalb urteilen bei uns immer Richter aus zwei Familien. Wo eine spätere Messung eine frühere korrigiert hat, etwa nach dem falschen Hinweis auf den Bildschirmfotos der Richter, steht hier der korrigierte Wert.
Was Sie jetzt tun sollten
- Erst festlegen, was gut ist. Dann das Modell wählen. Nehmen Sie 10 bis 20 echte Aufträge aus Ihrem Alltag, zum Beispiel einen Pitch, ein Angebot und einen Produkttext. Schreiben Sie zu jedem in einem Satz auf, woran Sie ein gutes Ergebnis erkennen. Ohne diese Liste wählen Sie ein Modell nach Gefühl.
- Für jede Aufgabe das passende Modell. Zum Planen das stärkste Modell, für schnelle Entwürfe ein günstiges, zum Bewerten eines aus einer anderen Familie. Ein einziges Modell für alles ist entweder zu teuer oder zu schwach.
- Vergleichen statt benoten. Legen Sie zwei Ergebnisse zum selben Auftrag nebeneinander, ohne Absender, und lassen Sie das bessere wählen. Bei uns schwankte die Note für denselben Aufbau um 0,4 Punkte. Der direkte Vergleich zeigt Unterschiede, wo Noten nur rauschen.
- Den Richter prüfen. Lassen Sie kein Modell Ergebnisse aus der eigenen Familie allein bewerten, also GPT nicht GPT. Und schauen Sie sich an, was der Richter wirklich zu sehen bekommt.
- Erst Regeln, dann ein neues Modell. Bevor Sie das Modell wechseln, schreiben Sie drei klare Regeln für Layout und Text auf. Bei uns gewannen drei solche Regeln 17 von 20 Duellen. Der beste Modellwechsel brachte nur ein Unentschieden.
- Erst schauen, dann verbessern. Prüfen Sie in den Protokollen, was Ihre Leute wirklich bauen. Sonst machen Sie einen Weg perfekt, den niemand nimmt.
Eine KI, die Inhalte erzeugt, wirkt schnell fertig. Erst der Test zeigt, wo sie wirklich steht. Wenn Sie für Ihre Präsentationen, Dokumente oder Bilder einen eigenen Test aufsetzen wollen, legen wir die ersten Aufträge gern mit Ihnen fest.