Blockiert Cloudflares KI-Sperre ab September auch Google?

Cloudflare blockiert KI-Trainings-Crawler ab September standardmäßig, auch Googlebot

Michael Dobler

Autor Dr. Web

26. Juli 2026

2 Min. Lesezeit

Cloudflare zieht eine neue Standardgrenze für KI-Crawler ein. Ab dem 15. September blockiert der Netzwerkdienst Trainings-Bots von sich aus, und weil Google mit einem einzigen Crawler zugleich für Suche und KI sammelt, gerät die eigene Google-Sichtbarkeit mit ins Visier. Aus einem Kontrollkästchen wird so eine strategische Entscheidung.

drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen

KI-Crawler lassen sich bei Cloudflare künftig nach ihrem Zweck sortieren, und genau das verschiebt die Machtfrage im Web. Die neue Voreinstellung klingt nach einem Sieg für Publisher, hat aber einen Haken mit Namen Googlebot.

Das Wichtigste in Kürze

Ab dem 15. September 2026 blockiert Cloudflare Trainings- und Agent-Crawler auf werbefinanzierten Seiten neuer Domains automatisch.
Der Dienst teilt Crawler erstmals in drei Zwecke: Suche, Agent und Training.
Googlebot, Bingbot und Applebot sammeln für Suche und KI zugleich, deshalb greift bei ihnen die strengste gewählte Regel.
Rund 20 Prozent aller Websites laufen über Cloudflare, die Voreinstellung wirkt also breit.

Was ändert Cloudflare zum 15. September?

Zwei verbundene Lichtschalter (KI-Training, Google-Suche) mit Gummiband und Warnhinweisen — Cloudflare blockiert ab 15. September KI-Crawler zum Trainieren und für Agenten auf neuen Domains, erlaubt aber klassische Suchmaschinen

Cloudflare sortiert KI-Crawler ab dem 15. September nach drei Zwecken und blockiert Training und Agenten auf werbefinanzierten Seiten neuer Domains von sich aus, während die klassische Suche erlaubt bleibt.

Der Anbieter Cloudflare hat die neuen Optionen zum 1. Juli angekündigt und trennt Bots jetzt sauber nach Suche, Agent und Training.^[1] Bleibt eine neue Domain unangetastet, blockiert Cloudflare dort die Trainings-Bots ab dem Stichtag automatisch.

Damit baut Cloudflare seine Linie vom bezahlten Crawling weiter aus, die der Dienst mit dem Monetization Gateway für Pay per Crawl begonnen hat. Schon zuvor hat der Anbieter KI-Bots an ihrer Mausbewegung enttarnt.

Warum trifft die Sperre ausgerechnet Google?

Google nutzt einen einzigen Crawler für Suche und KI-Training zugleich, und Cloudflare wendet auf solche Mehrzweck-Bots die strengste gewählte Regel an. Ein Training-Block sperrt damit auch Googlebot von den werbefinanzierten Seiten aus.

Google bietet mit Google-Extended zwar eine eigene KI-Kennung an, doch die hält die KI-Übersichten in der Suche nicht auf, weil diese aus dem regulären Suchindex schöpfen. Dass ein bloßes Opt-out in der robots.txt gegen Google wenig ausrichtet, hat sich schon vorher gezeigt.

Cloudflare begründet die harte Linie mit dem Wettbewerb. „Das benachteiligt etablierte Suchanbieter unfair, wenn sie dieselben Bots für Suche und Training nutzen; und dieser unfaire Vorteil verleitet neue Akteure dazu, sich auszuweichen, während sie den Rückstand aufholen“, schreibt der Anbieter in der Ankündigung.

Cloudflare verwandelt eine technische Voreinstellung in eine Grundsatzfrage: Sichtbarkeit bei Google oder Schutz vor dem KI-Training. Beides zugleich gibt es ab September nicht mehr geschenkt.
— Markus Seyfferth, Chefredakteur Dr. Web

Cloudflares neue Crawler-Ordnung

Ab 15. September 2026 entscheidet die Voreinstellung, welche KI-Bots auf Ihre Seite dürfen.

15. Sept.

Ab diesem Stichtag greift die neue Voreinstellung automatisch

~20 %

aller Websites laufen über Cloudflare, die Regel wirkt breit

Crawler-Zwecke: Suche, Agent und KI-Training

So greift die Voreinstellung auf werbefinanzierten Seiten

Suche bleibt erlaubt, damit die klassische Sichtbarkeit erhalten bleibt.

Agent wird auf neuen Domains von sich aus blockiert.

Training wird auf neuen Domains von sich aus blockiert.

Googlebot, Bingbot und Applebot sammeln für Suche und Training zugleich. Bei diesen Mehrzweck-Bots gilt die strengste gewählte Regel, ein Training-Block sperrt sie darum mit aus.

Was Website-Betreiber jetzt tun sollten

Betreiber legen vor dem 15. September in den Cloudflare-Einstellungen aktiv fest, welche Crawler-Zwecke sie zulassen. Sonst entscheidet die Voreinstellung über ihre Google-Sichtbarkeit.

Im DACH-Raum steckt darin mehr als Technik. Nach Paragraf 44b UrhG und Artikel 53 des EU-KI-Gesetzes gilt KI-Training als Text und Data Mining, dem Rechteinhaber nur dann wirksam widersprechen können, wenn der Vorbehalt maschinenlesbar vorliegt. Cloudflares Content Signals in der robots.txt, etwa die Zeile mit „ai-train=no“, sind genau ein solcher Nutzungsvorbehalt.

Damit wird die Einstellung zur Rechtsposition und dokumentiert den Widerspruch, den KI-Anbieter nach dem KI-Gesetz achten müssen. Dass deutsche Aufsichtsbehörden bei KI-Antworten bereits genauer hinschauen, erhöht den Druck. Setzt eine Website zugleich auf Reichweite in der generativen Suche, gehört die Blockade gegen die eigene GEO-Strategie abgewogen.

Bis zum Stichtag bleibt Zeit, die Bot-Regeln bewusst zu setzen: Suche erlauben, Training und Agenten nach Bedarf steuern und die Content Signals als Vorbehalt pflegen. Bleibt die Voreinstellung unangetastet, fällt diese Entscheidung über Sichtbarkeit und Rechte allein bei Cloudflare.