Mit einem einzigen Eintrag in der robots.txt sollen Websites ihre Inhalte bei mehreren KI-Anbietern zugleich vom Training ausnehmen. Google, Microsoft und OpenAI haben am 30. Oktober zugesagt, die Regel aus einem Entwurf der IETF zu beachten, Bing ab dem 1. Februar 2027. Für Websites mit den alten Bing-Angaben NoArchive und NoCache läuft eine Frist bis zum 1. März.
Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügenInhalt 6 Abschnitte
Vor fünf Tagen hatte Googles Gary Illyes die robots.txt noch als Datei beschrieben, die nur den Abruf von Seiten regelt, nicht ihre Nutzung. Nun kündigt Google an, in genau dieser Datei eine Angabe zum KI-Training auszuwerten.[1]
Das Wichtigste in Kürze
- Ein Disallow für die Kennung __usage_ai-training soll das KI-Training bei allen teilnehmenden Anbietern untersagen.
- Bing beachtet die Kennung ab dem 1. Februar 2027, Google ab Anfang 2027, OpenAI in den kommenden Monaten.
- NoArchive und NoCache zählen bei Bing ab dem 1. März 2027 nicht mehr als Widerspruch.
Wie funktioniert die gemeinsame Regel?
Der Entwurf von Kevin Kelley, Mitarbeiter von Anthropic, liegt seit dem 30. Oktober der Arbeitsgruppe AI Preferences der IETF vor. Er führt eine gemeinsame Kennung ein, die wie der Name eines Crawlers in der robots.txt steht. Ein Disallow für diese Kennung heißt: Die Inhalte sollen nicht in das Training generativer KI-Modelle fließen.[4]
Mit Allow lassen sich Verzeichnisse wie ein Pressebereich wieder freigeben. Eine Sperre für alle Crawler mit dem Sternchen zählt ausdrücklich nicht als Widerspruch gegen das Training.[4]
Der Aufbau passt zu Googles Parser, der nur User-agent, Allow, Disallow und Sitemap auswertet. An dieser Hürde scheiterten Cloudflares Content Signals mit ihrer eigenen Zeile. Ältere Parser überspringen die neue Gruppe wie jeden unbekannten Crawler-Namen.[4]
Was ändert sich bei Google, Bing und OpenAI?
Fehlt ein eigener Eintrag für Google-Extended, behandelt Google den gemeinsamen Widerspruch wie eine Sperre dieser Kennung.[1] Google-Extended regelt neben dem Gemini-Training auch, ob Inhalte als Grundlage für Antworten der Gemini-Apps dienen. Ranking und Aufnahme in die Suche bleiben unberührt.[5] Für AI Overviews und AI Mode ist weiter der Schalter in der Search Console zuständig.
Microsoft trennt zusätzlich Training und Grounding, also die Nutzung von Seiten als Grundlage für KI-Antworten. Das Training lässt sich per robots.txt oder je Seite sperren, das Grounding nur je Seite per Meta-Tag oder HTTP-Header. Die Stufe DisallowExtended erlaubt das Grounding nur in Microsofts eigenen Angeboten wie Copilot, nicht in Diensten für Dritte.[2] OpenAI will die neue Angabe in den kommenden Monaten berücksichtigen, die bisherigen Regeln für seine Crawler gelten weiter.[3]
Ein Eintrag für alle KI-Anbieter spart Betreibern Arbeit. Geld für ihre Inhalte bringt er ihnen nicht.
Markus Seyfferth, Chefredakteur Dr. Web
Anbieter und Starttermine
| Anbieter | Start | Besonderheit |
|---|---|---|
| Bing (Microsoft) | ab 1. Februar 2027 | Training und Grounding getrennt, Grounding nur je Seite per Meta-Tag oder Header |
| Anfang 2027 | wirkt wie eine Sperre von Google-Extended, solange diese Kennung nicht eigens genannt ist | |
| OpenAI | in den kommenden Monaten | bisherige Regeln für die eigenen Crawler gelten weiter |
| Normale Suche bei Google und Bing | unverändert | kein Einfluss auf Ranking und Aufnahme in die Suche |
Eine Sperre für alle Crawler mit „User-Agent: *“ zählt laut Entwurf nicht als Widerspruch gegen das Training. Die Übergangseinstellung bei Bing läuft am 30. September 2027 aus.
Was bedeutet das für Websites in Deutschland?
Nach § 44b des Urheberrechtsgesetzes dürfen frei zugängliche Werke für Text und Data Mining kopiert werden, außer der Rechteinhaber hat sich das vorbehalten. Online wirkt der Vorbehalt nur in maschinenlesbarer Form.[6] Google verweist auf den EU-Verhaltenskodex für KI-Modelle mit allgemeinem Verwendungszweck, der die robots.txt als wichtigsten Weg dafür anerkennt.[1] Die EU-Datenschützer verlangen von KI-Entwicklern ohnehin, Websites mit einer Sperre in der robots.txt auszulassen.
Verbindlich ist der Entwurf nicht, er kann sich bis zum Standard noch ändern. Lizenzen oder Zahlungen begründen die neuen Angaben laut Microsoft nicht.[2]
Was sollten Betreiber jetzt tun?
- Bestehende Sperren behalten: Einträge für GPTBot oder Google-Extended gelten bei OpenAI und Google weiter.
- Gemeinsame Kennung ergänzen: Die Gruppe schadet heute nicht, Crawler, die die Kennung nicht kennen, überspringen sie.
- Bing-Angaben umstellen: Websites mit NoArchive oder NoCache setzen bis zum 1. März 2027 die neuen Angaben, den Vorbehalt gegen Grounding zusätzlich in den Bing Webmaster Tools.
- Gemini abwägen: Für Links in Antworten der Gemini-Apps Google-Extended ausdrücklich erlauben.
Die virtuelle robots.txt von WordPress lässt sich etwa mit Yoast SEO oder Rank Math bearbeiten. Wie Inhalte in KI-Antworten sichtbar bleiben, beschreibt der Ratgeber zur Generative Engine Optimization.
FAQ: Google, Bing und OpenAI wollen eine gemeinsame robots.txt-Regel gegen KI-Training beachten
Wie sperre ich meine Website für das KI-Training mehrerer Anbieter?
Mit einer eigenen Gruppe in der robots.txt: „User-Agent: __usage_ai-training“ und darunter „Disallow: /“. Beachten wollen das Google, Microsoft und OpenAI, Bing ab dem 1. Februar 2027, Google ab Anfang 2027. Andere Anbieter müssen sich erst anschließen.
Verschwindet die Website damit aus der Google-Suche?
Nein. Die Kennung regelt nur die Nutzung für das Training, nicht den Abruf durch Crawler. Google-Extended wirkt sich laut Google weder auf das Ranking noch auf die Aufnahme in die Suche aus. Für AI Overviews und AI Mode gilt der eigene Schalter in der Search Console.
Was passiert mit NoArchive und NoCache bei Bing?
Ab dem 1. März 2027 liest Bing sie nicht mehr als Widerspruch gegen Training und Grounding. Websites mit diesen Angaben setzen bis dahin die neuen Einstellungen. Fehlen sie, gelten Training und Grounding als erlaubt.
Reicht eine Sperre für alle Crawler mit dem Sternchen?
Nein. Laut IETF-Entwurf zählt die Gruppe „User-Agent: *“ nicht als Widerspruch gegen das Training. Nötig ist eine eigene Gruppe mit der Kennung __usage_ai-training.
Quellen
6 Quellen anzeigenQuellen ausblenden
- Google Search Central BlogSupporting a shared AI training control for websites, John Mueller
- Microsoft Bing BlogYour content, your choice: clearer preferences for training and grounding, Krishna Madhavan
- OpenAIWebsites sollen ihre Präferenzen zum KI-Training leichter mitteilen können
- IETF, Internet-DraftMachine-Readable Training Preference Signal, draft-kelley-aipref-training-preference-signal-00, Kevin Kelley (Anthropic)
- Google Search CentralGoogle’s common crawlers, Abschnitt Google-Extended, abgerufen am 31. Oktober 2026
- Gesetze im Internet§ 44b Urheberrechtsgesetz, Text und Data Mining, abgerufen am 31. Oktober 2026
Mehr Newshunger?
- Google: Die robots.txt regelt den Zugriff, nicht die KI-Nutzung
- Google erklärt KI-Opt-out in der robots.txt für wirkungslos
- Cloudflare trennt Suche und KI-Training: sichtbar bleiben, Training verbieten
- Raus aus AI Overviews: Erster Test zeigt auch weniger organische Klicks
- EU-Datenschützer: KI-Entwickler sollen Websites mit robots.txt-Sperre auslassen
- Was ChatGPT im Training nicht gelernt hat, holt die Websuche selten nach
