Cloudflare hat eine einzelne Zeile in die robots.txt eingeführt, mit der Websites KI-Crawlern das Training an ihren Inhalten untersagen. Auf 3,8 Millionen Domains steht dieses Signal inzwischen. Googles John Mueller erklärt es nun rundheraus für wirkungslos.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügenContent Signals in der robots.txt sollten Websitebetreibern eine einfache Handhabe geben, um KI-Crawler zu steuern. Auf Millionen Domains sind sie längst aktiv, doch der Google-Mitarbeiter John Mueller sagt: Für keinen einzigen Crawler und kein Sprachmodell hätten sie eine Wirkung. Damit steht die Frage im Raum, ob dieses KI-Opt-out mehr ist als Kosmetik.
Das Wichtigste in Kürze
- Cloudflares Content Signals sind maschinenlesbare Zeilen in der robots.txt, die drei Nutzungsarten trennen: Suche, KI-Antworten in Echtzeit und KI-Training.
- Google-Mitarbeiter John Mueller nennt das Signal für Crawler und Sprachmodelle wirkungslos.
- Technisch ist die robots.txt nur eine Bitte, kein Schloss; erst eine Firewall oder Bot-Management sperrt Crawler wirklich aus.
- Rechtlich zählt das Signal in der EU trotzdem, nämlich als maschinenlesbarer Nutzungsvorbehalt im Urheberrecht.
Was sind Content Signals in der robots.txt?
Der Infrastrukturdienst Cloudflare hat die Content Signals Policy am 24. September 2025 vorgestellt[1]. Das Prinzip ist eine maschinenlesbare Zeile in der robots.txt, die drei Nutzungsarten unterscheidet: search erlaubt die Aufnahme in den Suchindex, ai-input das Einspeisen in KI-Antworten in Echtzeit, ai-train das Training von Modellen.
Für die 3,8 Millionen Domains mit Cloudflares verwalteter robots.txt setzt der Dienst standardmäßig search=yes, ai-train=no. Das Signal für KI-Antworten bleibt bewusst offen, weil Cloudflare seinen Kunden hier keine Vorgabe machen will. Wie heiß das Thema Crawler-Sperren ist, zeigt der eigene Fund des Anbieters, wonach 52 Prozent aller KI-Zugriffe allein auf das Training entfallen.
Warum ignoriert Google das Signal?
Die Antwort liegt in der Natur der robots.txt. Sie ist eine Bitte, kein Schloss: Ein Crawler liest die Datei und entscheidet selbst, ob er sich daran hält. Google trennt seine Zugriffe längst über eigene Kennungen, den Googlebot für die Suche und Google-Extended für das KI-Training, und erkennt eine fremde Syntax schlicht nicht an.
Der Search Advocate John Mueller nennt die Content-Signals-Zeile deshalb ohne Wirkung für jeden Crawler und jedes Sprachmodell; sie füge der robots.txt nur Ballast und künftigen Wartungsaufwand hinzu. Das deckt sich damit, dass die Cloudflare-Regeln allein niemanden technisch aussperren.
Ein Muster zieht sich durch: Schon den Vorschlag einer llms.txt, mit der Websites Sprachmodellen Inhalte anbieten wollten, hat Google offen abgewiesen. Verlage und Anbieter erfinden neue robots.txt-Zeilen; die großen Plattformen übergehen sie. Selbst harte Sperren stiften Verwirrung, wie der Fall zeigt, in dem WP Engine KI-Crawler blockierte und Kunden im Dunkeln ließ.
Was bedeutet das für deutsche Websitebetreiber?
Technisch bleibt die robots.txt zahnlos, doch in der EU hat das Signal ein zweites Leben. Cloudflare rahmt die Content Signals ausdrücklich als Nutzungsvorbehalt nach Artikel 4 der EU-Urheberrechtsrichtlinie 2019/790.
Im deutschen Recht entspricht das dem §44b UrhG. Die dortige Schranke erlaubt das Auslesen frei zugänglicher Werke für Text und Data Mining, also auch fürs KI-Training, aber nur solange der Rechteinhaber sich das nicht in maschinenlesbarer Form vorbehalten hat. Genau diese Form liefert eine Content-Signals-Zeile.
Für die Praxis heißt das zweierlei. Ein Opt-out in der robots.txt hält keinen entschlossenen Crawler auf, dagegen braucht es eine Firewall oder Bot-Management. Als rechtlicher Vorbehalt kann dieselbe Zeile in Europa aber zur Grundlage werden, um späteres KI-Training als Urheberrechtsverstoß anzugreifen, wie es der Streit um den Bilddatensatz LAION vor dem Landgericht Hamburg angedeutet hat.
Prüfen Sie, ob ein Blockieren der KI-Antworten Ihre Sichtbarkeit kostet, denn ein Ausschluss aus generativen Suchergebnissen kostet Reichweite. Wie stark KI die Auffindbarkeit inzwischen bestimmt, zeigt die Debatte um das KI-Ranking als neue Sichtbarkeitsgröße.
Quelle
[1] Cloudflare: „Giving users choice with Cloudflare’s new Content Signals Policy“ ↩
Mehr Newshunger?
- KI-Scraper stoppen mit robots.txt? So geht’s.
- AI-Crawler: Sind 52 % reine Trainingsdaten? Ja.
- WP Engine sperrt KI-Crawler: Kunden tappen im Dunkeln
- AI Optimization Guide: Sind GEO und AEO tot? Fast.
- LLMs gegen Google: Wer gewinnt den Kampf um die Online-Suche?
- Entscheidet das KI-Ranking über Ihre Sichtbarkeit?
