Artikel teilen

Cloudflare blockiert KI-Crawler seit Juli 2025 standardmäßig. Chefstrategin Stephanie Cohen sieht darin den Grund, warum Verlage inzwischen Lizenzverträge statt Klicks bekommen. Financial Times, Associated Press und Condé Nast arbeiten für solche Abschlüsse mit dem Anbieter zusammen.

Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügen
Inhalt 4 Abschnitte
  1. Warum bringt eine Bot-Sperre bessere Verträge?
  2. Was ändert sich mit der Bezahlung je KI-Antwort?
  3. Was sollten Betreiber im deutschsprachigen Raum jetzt prüfen?
  4. Mehr Newshunger?

Die KI-Crawler-Sperre ist für Verlage zum Verhandlungspfand geworden. Cloudflare liegt vor mehr als 20 Prozent aller Web-Domains.[1] Neil Vogel, Chef des Medienkonzerns People Inc, sagte Press Gazette: „Der Wert unserer Inhalte wird jetzt verstanden, weil wir mit der Cloudflare-Blockade fast jeden von der Nutzung ausschließen können.“

Auf einen Blick

Das Wichtigste in Kürze

  • Ab dem 15. September 2026 sperrt Cloudflare auf Werbeseiten Trainings- und Agenten-Crawler per Voreinstellung, Suchmaschinen bleiben erlaubt.
  • Bots ohne saubere Trennung dieser Zwecke verlieren den Zugang zu diesen Seiten komplett.
  • Aus Pay per Crawl wird Pay per Use: Geld fließt, sobald ein Beitrag in einer KI-Antwort auftaucht.
  • Über 50 große Lizenzverträge schlossen Verlage und KI-Anbieter im vergangenen Jahr.

Warum bringt eine Bot-Sperre bessere Verträge?

Drehkreuz mit Pappschild „ANTWORT KOSTET EXTRA“ und oranger Spielzeugmaus
Rechteinhabers Nutzungsvorbehalt nach Paragraf 44b UrhG wird durch technische Filter durchgesetzt, die Text- und Data-Mining blockieren

Die Sperre verwandelt einen Rechtsanspruch in eine technische Tatsache. Paragraf 44b UrhG erlaubt Text- und Data-Mining nur, solange der Rechteinhaber keinen maschinenlesbaren Nutzungsvorbehalt erklärt.[4] Ein solcher Vorbehalt steht auf dem Papier, der Filter im Netzwerk entscheidet an der Leitung. Cohen sagt dazu: „Viele unserer Kunden nutzen unsere Werkzeuge, um verlässliche Knappheit für ihre Inhalte herzustellen und danach bessere Verträge auszuhandeln.“

Der Hebel wirkt, weil die Alternative teuer geworden ist. Bei einer KI-Zusammenfassung klicken Nutzer nur noch in 8 Prozent der Fälle auf einen klassischen Link, sonst in rund 16 Prozent.[3] Wie schnell die Klickströme versiegen, zeigt der Befund zu Google Zero. Erste Lokalzeitungen sehen laut Cohen den Weg zu mehr Lizenzeinnahmen als Werbeerlösen.

Über 50 große Abschlüsse dieser Art zählt Cloudflare für die vergangenen zwölf Monate.[2] Apple zahlt Verlagen für Siri Geld je Abruf statt einer Pauschale, wie unser Bericht zum Siri-Lizenzdeal zeigt. Reddit wiederum erlebt gerade, wie der Google-Deal den eigenen Traffic frisst.

Was ändert sich mit der Bezahlung je KI-Antwort?

Vergütet wird künftig die Nutzung eines Textes in einer KI-Antwort, nicht mehr der bloße Abruf. Aus Pay per Crawl wird Pay per Use, zunächst mit Ceramic.ai und You.com.[3] Ceramic zahlt je Suchanfrage, sobald ein Beitrag in der Antwort auftaucht. You.com kauft einzelne Premium-Inhalte im Moment des Zugriffs.

Als Maßstab war der Abruf immer ungenau. Mehr als die Hälfte des Crawler-Verkehrs holt Seiten, die sich seit dem letzten Besuch nicht geändert haben.[2] Eine einzige Seite prägt umgekehrt womöglich tausend Antworten. Cloudflare meldet den Bots deshalb, welche Seiten frisch sind.

Beide Modelle stecken in der Erprobung. Pay per Crawl läuft in geschlossener Beta, für Pay per Use nennt Cloudflare bis heute keine Preise. Verlage verhandeln also über eine Währung, deren Kurs allein der Vermittler kennt.

Cloudflares Sperre deckt ein Fünftel des Webs ab und ist damit keine Einstellung mehr, sondern eine Marktordnung. Verlage gewinnen ein Druckmittel und übergeben die Kontrolle darüber einem einzigen Anbieter.

Michael Dobler, Herausgeber Dr. Web
Zitat teilen
Die Crawler-Sperre als Verhandlungsmasse
Kennzahlen zur KI-Crawler-Sperre von Cloudflare. Alle Angaben stammen aus den Veröffentlichungen des Anbieters vom 1. Juli 2026, Stand 17. August 2026.

Wie viel Verkehr die Maschinen erzeugen

Anteil am Web-Verkehr
über 50 %
aller Anfragen im Web stammen von Bots und Agenten, nicht von Menschen
Abrufe ohne neuen Inhalt
über 50 %
des Crawler-Verkehrs holt Seiten, die sich seit dem letzten Besuch nicht geändert haben
Reichweite der Sperre
über 20 %
aller Web-Domains laufen über Cloudflare und folgen dessen Voreinstellung

Was die KI-Zusammenfassung mit dem Klick macht

Suchergebnis ohne KI-Zusammenfassung
rund 16 %
der Nutzer klicken auf einen klassischen Link zur Quelle
Suchergebnis mit KI-Zusammenfassung
8 %
klicken noch auf einen klassischen Link, nur 1 Prozent auf einen Link innerhalb der Zusammenfassung
Stichtag und Gegenleistung
Preise nennt Cloudflare für Pay per Use bisher nicht. Abgerechnet wird über die Partner Ceramic.ai und You.com, sobald ein Beitrag in einer Antwort erscheint.
15.09.2026
Stichtag für neue Domains und unveränderte Gratis-Konten
über 50
große Lizenzverträge schlossen Verlage und KI-Anbieter im vergangenen Jahr

Was sollten Betreiber im deutschsprachigen Raum jetzt prüfen?

Zuerst die eigene Voreinstellung, denn ab dem 15. September 2026 sperrt Cloudflare auf Werbeseiten auch gemischte Crawler vollständig. Trennt ein Bot Suche, Training und Agentenzugriff nicht sauber, verliert die Seite ihn ganz, samt Indexierung. Die Folgen für den Googlebot zeigt unsere Analyse der Crawler-Blockade ab September.

Rechtlich steht der Vorbehalt längst. Artikel 53 der KI-Verordnung verpflichtet Anbieter von Universalmodellen seit dem 2. August 2025, den maschinenlesbaren Nutzungsvorbehalt zu achten.[5] Kontrolliert wird die Pflicht kaum, weshalb erst die technische Sperre die juristische Erklärung durchsetzt.

Zwei Schritte lohnen vor dem Stichtag. Prüfen Sie im Cloudflare-Dashboard, welche Bot-Kategorien Ihre werbefinanzierten Seiten erreichen dürfen. Hinterlegen Sie den Nutzungsvorbehalt zusätzlich in der robots.txt sowie in den Nutzungsbedingungen. Wie Inhalte in generativen Antworten überhaupt sichtbar werden, erklärt unser GEO-Ratgeber.

Quellen

5 Quellen anzeigenQuellen ausblenden
  1. Cloudflare-BlogYour content, your rules: new AI traffic options for all customers01.07.2026
  2. CloudflarePressemitteilung zu den neuen Voreinstellungen und zu Pay per Use01.07.2026
  3. Cloudflare-BlogMaking AI search smarter01.07.2026
  4. Bundesministerium der JustizParagraf 44b UrhG, Text- und Data-Mining (abgerufen am 17. August 2026)
  5. EUR-LexVerordnung (EU) 2024/1689 über künstliche Intelligenz, Artikel 53 (abgerufen am 17. August 2026)

Mehr Newshunger?

4,1 23 Bewertungen

Wie hat Ihnen dieser Artikel gefallen?

Dr. Web Newsletter

Jede Woche ein bisschen klüger.

Der Dr. Web Newsletter: die besten Artikel, Anbieter-Tipps und neue Tools, kompakt zusammengefasst, jeden Donnerstag. Kostenlos und jederzeit abbestellbar.