Ein Eintrag gegen KI-Training: Die großen Anbieter einigen sich auf ein Signal. Was das für Ihre Website heißt

TL;DR. Am 30. Oktober haben OpenAI, Google und Microsoft angekündigt, ein gemeinsames Zeichen in der robots.txt zu beachten. Zwei Zeilen genügen dann, um allen beteiligten Anbietern zu sagen: Diese Inhalte bitte nicht zum Training verwenden. Der Entwurf stammt von einem Anthropic-Mitarbeiter und liegt bei der Internet-Normungsorganisation IETF. Feste Termine gibt es erst für 2027, und das Zeichen bleibt freiwillig. Wir haben am 31. Oktober die robots.txt der 40 DAX-Konzerne gelesen: Keine der 33 lesbaren Dateien sagt Nein zum Training, vier laden KI-Crawler ausdrücklich ein. Für den Mittelstand ist das Signal vor allem eine Entscheidungshilfe. Es trennt „mit meinen Texten trainieren“ von „mich in KI-Antworten zeigen“. Entscheiden Sie das pro Bereich Ihrer Website, nicht pauschal.

Was am 30. Oktober angekündigt wurde

Die robots.txt ist eine kleine Textdatei, in der eine Website festlegt, welche Programme welche Seiten abrufen dürfen. Wer bisher KI-Training ausschließen wollte, musste jeden Anbieter einzeln nennen: GPTBot für OpenAI, ClaudeBot für Anthropic, Google-Extended für Google und weitere. Microsoft hatte dafür keinen eigenen Namen, Bing wertete die Seitenangaben NoArchive und NoCache.

Der neue Entwurf führt einen gemeinsamen Namen ein: __usage_ai-training. Er sieht aus wie ein Crawler, steht aber für einen Zweck. So sieht ein Eintrag aus, der Training mit der ganzen Website ablehnt und nur den Pressebereich freigibt:

User-Agent: __usage_ai-training
Disallow: /
Allow: /presse/

Gemeint ist nach der Definition der IETF-Arbeitsgruppe nur das Training generativer Modelle. Modelle, die bloß sortieren oder bewerten, fallen nicht darunter. Die Zusagen im Einzelnen:

• OpenAI will das Zeichen laut Ankündigung „in den kommenden Monaten“ beachten. Regeln für GPTBot gelten weiter.
• Google will es laut Search Central 2027 unterstützen. Google verweist dabei auf den EU-Verhaltenskodex für Anbieter großer KI-Modelle, der die robots.txt als maschinenlesbaren Weg anerkennt.
• Microsoft nennt im Bing-Blog den 1. Februar 2027. Dazu kommt eine zweite Einstellung je Seite: ob sie als Quelle für Antworten in Bing, Copilot und Microsoft 365 dienen darf.
• Anthropic stellt den Autor des Entwurfs, einen eigenen Termin haben wir nicht gefunden. Meta hat laut SiliconANGLE Zustimmung signalisiert, aber nichts zugesagt.

Warum das mehr ist als eine Formsache

Für deutsche Firmen hat die Frage einen rechtlichen Kern. Nach § 44b UrhG dürfen frei zugängliche Inhalte für Text und Data Mining kopiert werden, solange der Rechteinhaber das nicht ausgeschlossen hat. Bei Inhalten im Netz zählt dieser Vorbehalt nur, wenn er maschinenlesbar ist. Ein Zeichen, das alle großen Anbieter gleich lesen, macht den Vorbehalt eindeutiger als ein Satz im Impressum. Ob es im Streitfall genügt, beantwortet das Signal nicht. Das bleibt eine Frage für Juristen.

Für den Alltag wichtiger: Training und Sichtbarkeit lassen sich trennen. Das Zeichen betrifft nur das Training. Ob ChatGPT, Gemini oder Copilot Ihre Seiten abrufen, um eine Frage zu beantworten und auf Sie zu verweisen, regeln andere Einträge.

Der Haken

• Freiwillig. Die robots.txt ist eine Bitte. Wer sie übergeht, wird technisch nicht gehindert.
• Nicht rückwirkend. Was schon gesammelt und trainiert ist, bleibt drin. Auch Anthropic schreibt zu seinem Crawler, eine Sperre gelte für künftige Inhalte.
• Noch kein Standard. Der Entwurf ist ein Einzelvorschlag, den die IETF ausdrücklich nicht trägt. Er läuft am 3. Mai 2027 aus, wenn ihn niemand erneuert.
• Das Sternchen zählt nicht. Eine Regel für User-Agent: * drückt laut Entwurf keinen Trainingswunsch aus. Wer nichts einträgt, hat nichts gesagt.
• Die Google-Falle. Wer das Zeichen setzt und Google-Extended nicht eigens nennt, wird so behandelt, als hätte er Google-Extended gesperrt. Darüber regelt Google aber auch, ob Seiten in Antworten der Gemini-App als Quelle erscheinen. Wer dort sichtbar bleiben will, erlaubt Google-Extended ausdrücklich.
• Die Bing-Frist. Ab 1. März 2027 gelten NoArchive und NoCache bei Microsoft nicht mehr als Trainings-Sperre.

Wir haben nachgesehen: Was die DAX-Konzerne heute eintragen

Am 31. Oktober haben wir die robots.txt der Konzern-Websites aller 40 DAX-Unternehmen abgerufen, einmal je Website und nur lesend. Die Zusammensetzung des Index stammt aus Wikipedia. 33 Dateien waren lesbar, 7 lagen hinter einem Bot-Schutz oder antworteten nicht.

• Keine der 33 sperrt einen großen Trainings-Crawler, weder GPTBot noch ClaudeBot, Google-Extended oder CCBot.
• Keine nutzt das neue Zeichen. Das ist nach einem Tag nicht überraschend.
• Vier laden KI-Crawler ausdrücklich ein. Drei mit eigenen Erlaubnis-Regeln für GPTBot, ClaudeBot oder Google-Extended. Eine mit dem von Cloudflare eingeführten Eintrag Content-Signal: ai-train=yes.
• Eine sperrt nur den Crawler von ByteDance, als Teil einer Liste unerwünschter Programme. 28 erwähnen KI gar nicht.

Bei Verlagen sieht es anders aus. Ahrefs hat im August 24.550 Websites aus Deutschland, Österreich und der Schweiz ausgewertet. 2,27 % sperren GPTBot. Unter 28 großen Nachrichten- und Verlagsangeboten sind es 61 %.

Die Linie verläuft also nicht zwischen groß und klein. Sie verläuft zwischen „mein Text ist Werbung“ und „mein Text ist mein Produkt“.

Was das für den Mittelstand heißt

Beim Großteil ihrer Website stehen die meisten Mittelständler auf der Seite der Konzerne. Produktseiten, Referenzen und Stellenanzeigen sollen gefunden werden, auch von KI-Assistenten, die Kunden heute statt einer Suchmaschine fragen. Oft gibt es aber Bereiche, die eher Produkt sind: Fachartikel, Schulungsunterlagen, ausführliche Anleitungen, eigene Fotos und Datenbanken. Für diese Bereiche kann ein Nein zum Training sinnvoll sein, ohne dass die ganze Website aus KI-Antworten verschwindet. Genau diese Trennung pro Pfad erlaubt das neue Zeichen.

Was Sie jetzt tun sollten

1. Ihre robots.txt ansehen. Hängen Sie /robots.txt an Ihre Domain und öffnen Sie die Adresse im Browser. Prüfen Sie, ob KI-Crawler genannt sind und ob das noch Ihrer Absicht entspricht.
2. Pro Bereich entscheiden. Teilen Sie Ihre Website in „soll gefunden werden“ und „ist unser Produkt“. Nur für den zweiten Teil lohnt ein Nein zum Training.
3. Das Zeichen setzen und die alten Einträge behalten. Programme, die das Zeichen nicht kennen, übergehen es. Verlässlich wirken bis auf Weiteres nur die Regeln je Anbieter, etwa für GPTBot, ClaudeBot und Google-Extended.
4. Sichtbarkeit bewusst erlauben. Wer in Gemini-Antworten verlinkt werden will, erlaubt Google-Extended ausdrücklich. Bei Microsoft regeln Sie das ab Februar je Seite.
5. Einen Termin im Februar 2027 eintragen. Dann gilt Microsofts neue Regel, und im März verlieren NoArchive und NoCache ihre Wirkung. Ein guter Zeitpunkt, die Datei noch einmal zu prüfen.

Zum ersten Mal sprechen die großen Anbieter bei dieser Frage dieselbe Sprache. Die Entscheidung nimmt Ihnen das nicht ab, aber es macht sie einfacher. Wenn Sie wissen wollen, was Ihre Website heute erlaubt und wie sie in KI-Antworten auftaucht, sehen wir uns das gern gemeinsam an.