Timestral im Test: Prognose-KI ohne Grafikkarte, ein Drittel genauer als die Faustregel

TL;DR. Am 15. Oktober hat Mistral Timestral veröffentlicht: vier KI-Modelle, die Zahlenreihen fortschreiben, etwa Absatz, Stromverbrauch oder Maschinendaten. Sie laufen ohne Grafikkarte auf einem normalen Prozessor und ohne vorheriges Training auf Ihren Daten. Wir haben sie 14 Tage lang den deutschen Stromverbrauch vorhersagen lassen. Das zweitkleinste Modell lag im Mittel 2,15 Prozent daneben, die Faustregel „wie vor einer Woche“ 3,39 Prozent. Eine Tagesprognose dauerte 32 Millisekunden. Gute Prognosen brauchen kein Rechenzentrum mehr. Entscheidend sind jetzt saubere Daten und ein Blick in die Lizenz, denn ab 20 Millionen Dollar Monatsumsatz ist sie nicht mehr frei.

Was Mistral veröffentlicht hat

Timestral ist Mistrals erste Modellfamilie für Zeitreihen, also für Zahlen, die in festen Abständen anfallen: Verkäufe je Tag, Verbrauch je Viertelstunde, Temperatur je Minute. Es schreibt keine Texte, es rechnet die Kurve weiter. Die Eckdaten laut Mistrals Ankündigung und den Modellkarten:

• Vier Größen. 5, 28, 123 und 209 Millionen Parameter. Als Datei sind das 21 bis 837 Megabyte.
• Ohne Training einsetzbar. Sie geben die Vergangenheit hinein, das Modell liefert die Prognose. Bis zu 32.768 Werte Vergangenheit, bis zu 1.024 Schritte Vorschau in einem Durchgang.
• Eine Spannbreite statt einer Zahl. Zu jedem Zeitpunkt kommen 21 Stufen, vom 1-Prozent- bis zum 99-Prozent-Wert. Daraus lässt sich ablesen, wie sicher die Prognose ist.
• Zusatzwissen möglich. Feiertage, Aktionen oder Wetterprognosen lassen sich als eigene Reihen mitgeben.
• Läuft im eigenen Haus. Auf dem eigenen Server, in der eigenen Cloud oder ganz ohne Internet. Der Code steht frei auf GitHub, die Modelle liegen bei Hugging Face.

In den drei wichtigsten öffentlichen Vergleichstests für Prognosemodelle, GIFT-Eval, TIME und fev-bench, steht das größte Modell laut Mistral auf Platz 1 unter den Modellen, die ohne Nachtraining arbeiten. Der Abstand ist allerdings klein: Beim Fehlermaß MASE auf GIFT-Eval stehen 0,658 gegen 0,661 beim Zweiten und 0,667 bei Googles TimesFM-3.

Unser Test: der deutsche Stromverbrauch

Vergleichstests sind das eine. Wir wollten wissen, wie Timestral mit Daten umgeht, die es nicht kennen kann. Dazu haben wir den Stromverbrauch in Deutschland genommen, wie ihn die Bundesnetzagentur auf SMARD veröffentlicht, ein Wert je Viertelstunde. Für jeden Tag vom 3. bis 16. Oktober bekam jedes Modell die drei Wochen davor, also 2.016 Werte, und sollte die nächsten 24 Stunden vorhersagen. Ohne Feiertage, ohne Wetter, ohne Nachtraining. Gerechnet hat ein Mac mit Apple M4 Max auf acht Rechenkernen, ohne Grafikkarte. Alle Testtage liegen nach dem Training, der 15. und 16. Oktober sogar nach der Veröffentlichung.

Der Gegner war keine andere KI, sondern das, was viele Planer ohnehin tun: den Wert von gestern nehmen oder den vom gleichen Wochentag der Vorwoche.

Über alle 14 Tage sieht der Abstand so aus:

Vier Dinge fallen auf:

• Klein reicht. Das 28-Millionen-Modell war am genauesten, die größeren lagen knapp dahinter. Bei einer so regelmäßigen Reihe bringt mehr Größe nichts.
• Die Spannbreite trägt. Zwischen dem 10- und dem 90-Prozent-Wert sollten 80 Prozent der echten Werte liegen. Beim 28-Millionen-Modell waren es 90 Prozent, bei den anderen 83. Das Band ist eher vorsichtig als zu knapp.
• Feiertage kennt es nicht von selbst. Am 3. Oktober war die Faustregel mit 3,2 Prozent knapp besser als das Modell mit 3,4. Von Sondertagen weiß Timestral nur, was man ihm mitgibt.
• Es ist schnell. 12 Millisekunden beim kleinsten, 147 beim größten Modell. Das deckt sich mit Mistrals Angabe von 10 bis 140 Millisekunden.

Ein Test mit einer Reihe über 14 Tage ist kein Beweis. Der Stromverbrauch eines ganzen Landes ist gutmütig, er folgt Tag, Woche und Wetter. Der Absatz eines einzelnen Ersatzteils springt viel stärker.

Das Kleingedruckte

• Die Lizenz hat eine Umsatzgrenze. Laut Lizenz darf die Modelle nicht nutzen, wessen Unternehmen im Vormonat weltweit mehr als 20 Millionen Dollar Umsatz gemacht hat, gerechnet für die ganze Gruppe. Das sind rund 240 Millionen Dollar im Jahr. Darüber bleibt eine Lizenz von Mistral oder Mistrals eigener Dienst.
• Die Zahlen stammen von Mistral. Den technischen Bericht kündigt Mistral erst an. Forschende warnen, dass öffentliche Testdaten in das Training solcher Modelle geraten können (Studie). Mistral versichert, keine Testreihe sei im Training gewesen, und hat vor allem mit künstlich erzeugten Reihen trainiert.
• Der Vorsprung ist schmal. TimesFM-3 von Google und Chronos-2 von Amazon liegen dicht dahinter. Wer eines davon schon nutzt, muss nicht wechseln.
• Es ist kein Planungssystem. Timestral liefert Zahlen, keine Bestellung. Daten aus dem ERP holen, Lücken füllen, Ergebnisse zurückspielen und überwachen bleibt Arbeit. Mistral schreibt selbst, dass sich echte Daten mit der Zeit verschieben und Nachjustieren nötig ist.

Was das für einen Mittelständler heißt

Prognosen waren bisher entweder Handarbeit in Excel oder ein Projekt: jemand, der für jede Reihe ein eigenes Modell baut und pflegt, oder eine teure Planungssoftware. Modelle wie Timestral drehen das um. Eine Datei von gut 100 Megabyte, kein Training, ein vorhandener Server, und die Daten verlassen das Haus nicht. Damit kann die Prognose für jede Reihe mitlaufen: Absatz je Artikel, Bedarf an Ersatzteilen, Strom- und Gaseinkauf, Schichtplanung, Sensorwerte einer Anlage.

Der Engpass verschiebt sich vom Modell zu den Daten. Lückenlose Zeitreihen, saubere Artikelstämme und bekannte Sondertage entscheiden jetzt über die Güte. Wer die hat, kann in wenigen Tagen testen, wofür früher ein Projekt nötig war.

Was Sie jetzt tun sollten

1. Eine Reihe wählen, die heute schon geplant wird. Etwa den Absatz Ihrer 50 wichtigsten Artikel oder den Stromverbrauch eines Werks. Für den Einstieg gilt: je regelmäßiger, desto besser.
2. Gegen die eigene Faustregel testen. Rückwirkend, mit Wochen, die das Modell nicht gesehen haben kann. Der Maßstab ist nicht die perfekte Prognose, sondern das, was Ihre Planer heute tun.
3. Die Spannbreite nutzen. Planen Sie nicht nach der Mitte, sondern legen Sie fest, welches Risiko Sie tragen wollen. Der 90-Prozent-Wert ist ein guter Startpunkt für einen Sicherheitsbestand.
4. Sondertage mitgeben. Feiertage, Aktionen, Betriebsferien und Preisänderungen gehören als eigene Reihen dazu. Ohne sie rät das Modell genau an den Tagen, die am meisten kosten.
5. Die Lizenz prüfen. Liegt der Umsatz Ihrer Gruppe über 20 Millionen Dollar im Monat, klären Sie die Lizenz mit Mistral vor dem ersten echten Einsatz.

Timestral macht Prognosen nicht fehlerfrei. Aber es macht sie günstig genug, um sie überall auszuprobieren, wo heute noch geschätzt wird. Wenn Sie wissen wollen, welche Ihrer Zahlenreihen sich dafür eignen, sprechen Sie uns gern an.