Cloudflare löst zum 15. September einen alten Zielkonflikt: Websites bleiben in der Google-Suche sichtbar und sperren KI-Training trotzdem. Möglich wird die Trennung durch eine neue Einstellung namens „Disallow AI Training“ und eine Selbstverpflichtung von Apple, Google und Microsoft. Aus dem Rechtsanspruch auf einen Nutzungsvorbehalt wird für Betreiber damit ein praktischer Schalter.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Bisher zwang ein Nein zum KI-Training viele Website-Betreiber zu einem teuren Kompromiss: Sichtbarkeit in der Google-Suche oder Schutz der eigenen Inhalte. Cloudflare trennt beide Fragen ab dem 15. September 2026 und hält Seiten indexierbar, während das Training draußen bleibt.
Das Wichtigste in Kürze
- Die Einstellung „Disallow AI Training“ hält Seiten in der Suche und schließt Modelltraining aus.
- Cloudflare unterscheidet drei Crawler-Zwecke: Suche, Training und nutzergesteuerte Agenten.
- Apple, Google und Microsoft gelten als rechenschaftspflichtig und wollen den Trainings-Opt-out achten, Microsoft allerdings erst ab Anfang 2027.
- In der EU deckt sich der Opt-out mit dem maschinenlesbaren Nutzungsvorbehalt nach § 44b UrhG.
Was ändert Cloudflare zum 15. September?
Cloudflare hat die Einstellung „Disallow AI Training“ freigeschaltet.[1] Der Schalter hinterlegt in der robots.txt einen Trainings-Vorbehalt und lässt die Seite für den Suchindex offen. Zugleich sortiert der Anbieter jeden Crawler in drei Zwecke: Suche für den Index, Training fürs Modell und Agent für nutzergesteuerte Zugriffe. Die alte Sammeloption „Block AI Bots“ entfällt. Für neu aufgeschaltete Domains blockiert Cloudflare Training und Agent auf werbeführenden Seiten künftig standardmäßig, die Suche bleibt erlaubt. Die Einhaltung führt der Dienst öffentlich auf Cloudflare Radar.
Warum hingen Suche und KI-Training bisher zusammen?
Der Zielkonflikt entstand durch Mischcrawler. Google, Apple und Microsoft schicken für Suche und KI-Training oft denselben Roboter los, bei Google etwa den Googlebot. Das Kürzel Google-Extended in der robots.txt untersagt zwar die Nutzung fürs Gemini-Training, bleibt aber ein reines Steuersignal ohne eigenen Crawler; der Abruf läuft weiter über den Googlebot.[2] Eine Sperre auf Anfrageebene traf deshalb beide Funktionen zugleich und kostete die Sichtbarkeit. Cloudflare hatte schon im Juli die standardmäßige Blockade der Trainings-Crawler angekündigt, während Google kurz zuvor den robots.txt-Opt-out für wirkungslos erklärt hatte. Der neue Ansatz setzt statt auf hartes Blocken auf Kooperation: Als rechenschaftspflichtig gilt nur, wer den Trainings-Opt-out achtet, ihn ohne Nachteil fürs Ranking umsetzt und offenlegt, welche Seiten ins Training geflossen sind.
Cloudflare macht aus dem Nutzungsvorbehalt einen Knopf, den auch kleine Redaktionen drücken können. Entscheidend wird, ob Google und Microsoft ihre Zusage halten, sobald das Ranking wirklich auf dem Spiel steht.
— Markus Seyfferth, Chefredakteur Dr. Web
Was sollten Website-Betreiber jetzt tun?
In der EU dürfen Rechteinhaber KI-Training längst per maschinenlesbarem Nutzungsvorbehalt untersagen; § 44b UrhG und Artikel 4 der DSM-Richtlinie verlangen genau ein solches Signal. Der robots.txt-Vorbehalt füllt dieses Recht mit einem praktischen Werkzeug. Betreiber prüfen zuerst, ob ihre Domain über Cloudflare läuft, und öffnen im Dashboard die neuen Regeln für Suche, Training und Agent. Für den Erhalt der Sichtbarkeit bei gesperrtem Training greift „Disallow AI Training“, statt Mischcrawler pauschal zu blocken und damit den Googlebot auszusperren. Für die eigene Sichtbarkeit in der KI-Suche zählt beides: Nach der Umstellung lohnt ein Kontrollblick in die Search Console und auf Cloudflare Radar, um Einbrüche bei der Crawl-Rate früh zu erkennen. Die eigentliche Bewährungsprobe folgt, sobald KI-Zusammenfassungen granular steuerbar werden, was Cloudflare für Anfang 2027 ankündigt.
Häufige Fragen zu Cloudflares KI-Training-Sperre
Quellen
[1] Cloudflare: „Have it both ways: stay discoverable in search while disallowing AI training“
[2] Google Search Central: „Übersicht der Google-Crawler und -Fetcher (Google-Extended)“
Mehr Newshunger?
- Cloudflare blockiert KI-Trainings-Crawler ab September standardmäßig, auch Googlebot
- Google erklärt KI-Opt-out in der robots.txt für wirkungslos
- Robots.txt lernt Nein sagen: Cloudflare stoppt KI-Scraper
- 48 % Reichweite: AI Overviews kippen Google-Suche
- Studie: AI Overviews halbieren die Klickrate trotz Platz 1
- GEO statt Bonus-App: Aldi Süd wettet auf Sichtbarkeit in der KI-Suche
