Ähnlich ist nicht genau: Was 120 Prüf-Suchen über unsere Bildersuche verraten

TL;DR. Im Brand Studio suchen Menschen und KI-Agenten in einer Mediathek mit knapp 2.500 Bildern nach dem passenden Motiv. Am 8. Oktober haben wir diese Suche zum ersten Mal an einer festen Messlatte geprüft: 120 Prüf-Suchen, bei denen das richtige Bild vorher feststeht. Die Messung fand eine Schwäche bei genauen Produktnamen. Noch am selben Abend war die Korrektur live. Seitdem steht bei Produktsuchen das richtige Bild in 69 von 70 Fällen auf Platz 1 statt in 64. Bei Suchen nach Aussehen findet die Suche dagegen nur 18 von 50 Bildern. Wer eine KI-Suche verbessern will, braucht zuerst Prüf-Suchen mit bekannter Antwort. Sonst verbessert er nach Gefühl.

Wie die Suche arbeitet

Das Brand Studio ist unsere Marken-KI für Unternehmen: Folien, Dokumente und Präsentationen im eigenen Design. Dafür braucht es die richtigen Bilder. Bei einem Kunden, einem Medizintechnikhersteller, kommen sie aus dem PIM, dem System für Produktdaten. Jedes Produktbild trägt dort Produktname, Produktklasse und Artikelnummer, dazu eine Bildbeschreibung, die ein KI-Modell geschrieben hat.

Gesucht wird auf zwei Wegen zugleich. Die Wortsuche findet, was wörtlich passt. Die Vektorsuche findet, was der Bedeutung nach ähnlich ist. Am Ende werden beide Trefferlisten zu einer verschmolzen. Einzelne Stichproben sahen gut aus. Wie gut die Suche insgesamt ist, zeigte erst eine Messung.

Die Messlatte: 120 Prüf-Suchen

Am 8. Oktober haben wir eine feste Liste angelegt, in der Fachsprache ein Gold-Set. Sie enthält 120 Suchen, bei denen vorher feststeht, welches Bild richtig ist:

• 70 Produktsuchen, automatisch aus dem PIM erzeugt: 25 mit dem vollen Produktnamen, 35 mit einer Kurzform, 10 mit der Artikelnummer. Richtig sind alle Bilder dieses Artikels.
• 50 Suchen nach Aussehen, ohne Produktnamen, 39 auf Deutsch und 11 auf Englisch. Ein KI-Modell hat echte Bilder aus der Mediathek angesehen und beschrieben, etwa „Ärzteteam in weißen Kitteln im Labor mit Tablet“. Richtig ist das beschriebene Bild. Die Durchsicht dieser 50 Beschreibungen durch einen Menschen steht noch aus.

Gemessen wird nicht in der laufenden Anwendung, sondern an einem Nachbau mit demselben Katalog und denselben Suchverfahren. So entsteht keine Last beim Kunden, und jeder Lauf lässt sich wiederholen. Gezählt wird vor allem, auf welchem Platz das erste richtige Bild steht.

Vorher: Das Ähnliche schlug das Genaue

Der erste Lauf, der Nullpunkt, sah bei Produkten ordentlich aus. In 64 von 70 Suchen stand das richtige Bild auf Platz 1. Bei fünf stand es weiter hinten, bei einer fehlte es ganz.

Diese eine Suche war lehrreich. Gesucht war der genaue Katalogname einer geraden Nadel. Die Wortsuche allein hatte das Produkt auf Platz 2. Nach dem Verschmelzen mit der Vektorsuche war es nicht einmal mehr unter den ersten 24 Treffern. Bilder von geraden Kanülen passten in beiden Listen ein wenig und zogen gemeinsam vorbei. Das ähnliche Bild hatte das genaue verdrängt.

Nachher: Der Produktname geht vor

Die Korrektur ist klein. Trägt ein Artikel aus dem PIM alle Begriffe der Suche in seinem Namen, seiner Produktklasse oder seiner Artikelnummer, steht sein Bild vor allem, was nur ähnlich ist. Sonst bleibt die Reihenfolge, wie sie war. Danach lief dieselbe Messung noch einmal.

• Platz 1: 69 von 70 Produktsuchen statt 64.
• Ohne Treffer: keine mehr statt einer. Die gerade Nadel steht jetzt auf Platz 1.
• Unter den ersten zehn: 99,4 % der richtigen Produktbilder statt 96 %.

Messlatte, Änderung und Live-Gang lagen am selben Abend. Seit dem 8. Oktober läuft die Änderung in der Mediathek des Kunden.

Was die Messung auch zeigt: Aussehen findet sie kaum

Die zweite Hälfte der Prüf-Suchen ist unbequemer. Bei Suchen nach Aussehen steht das richtige Bild nur in 18 von 50 Fällen unter den ersten zehn. Daran hat die Produktänderung nichts geändert, sie war dafür auch nicht gedacht.

Der Grund liegt im Aufbau. Kein Modell in dieser Suche sieht die Bilder selbst. Gesucht wird in Texten über die Bilder, also in Produktdaten und Bildbeschreibungen. Ein Ärzteteam mit Tablet findet die Suche nur, wenn genau das in der Beschreibung steht.

Deshalb kommt als Nächstes ein Bildkanal dazu: ein Modell, das Bilder und Suchtexte direkt vergleichbar macht. Sechs Kandidaten stehen auf der Liste, jeder läuft gegen dieselben 120 Prüf-Suchen. Unser Ziel für Suchen nach Aussehen liegt bei 80 %. Was den Nullpunkt nicht schlägt, kommt nicht rein.

Was Sie jetzt tun sollten

1. Prüf-Suchen schreiben, bevor Sie eine KI-Suche kaufen oder umbauen. 50 bis 100 echte Suchen aus dem Alltag, jede mit der richtigen Antwort. Produktsuchen lassen sich oft aus dem PIM erzeugen, bei uns waren es 70 von 120.
2. Nach Art der Suche getrennt zählen. Produktname, Kurzform, Artikelnummer, Aussehen. Über alle 120 Prüf-Suchen hat unsere Suche in 88 Fällen ein richtiges Bild unter den ersten zehn. Das klingt passabel und versteckt, dass es bei Aussehen nur 18 von 50 sind.
3. Genaue Treffer schützen. Wer Wortsuche und Vektorsuche mischt, sollte prüfen, ob exakte Produktnamen vorn bleiben. Bei uns rutschte einer aus den ersten 24.
4. Jede Änderung gegen den Nullpunkt messen. Was die Zahl nicht hebt, geht nicht live, auch wenn es sich beim Ausprobieren besser anfühlt.
5. Am Nachbau messen, nicht im Betrieb. Eine Kopie mit denselben Daten macht jeden Lauf wiederholbar und belastet niemanden.

Eine Suche, die meistens passt, fühlt sich fertig an. Erst die Prüf-Suchen zeigen, wo sie es nicht ist und ob eine Änderung wirklich hilft. Wenn Sie so eine Messlatte für Ihre Mediathek oder Ihren Produktkatalog aufstellen wollen, setzen wir uns gern mit Ihnen an die ersten Prüf-Suchen.