Der KI-Crawler von Anthropic holt bis zu 100.000 Seiten, bevor er einen einzigen Besucher auf die Website zurückschickt. Für WordPress-Betreiber heißt das: Sie tragen die Serverkosten selbst, ihre Inhalte landen in fremden Modellen, und über KI-Antworten kommen kaum Besucher auf ihre Website.
Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügenInhalt 8 Abschnitte
- Was hat den alten Deal gebrochen?
- Was kostet KI-Crawling WordPress-Betreiber wirklich?
- Warum GEO-Fachleute vom Blockieren von KI-Bots abraten
- Das Google-Dilemma: Blockieren auf eigenes Risiko
- Gibt es einen dritten Weg?
- Was sollten WordPress-Betreiber jetzt konkret tun?
- FAQ: Sollen Websites KI-Crawler dulden oder aussperren?
- Mehr Lesehunger?
Zugleich wird das Sperren schwieriger: Der ChatGPT-Agent von OpenAI meldet sich nicht mehr über einen eindeutigen User-Agent, sondern über einen signierten Header.
Was Betreiber dagegen tun sollen, ist umstritten.
GEO-Fachleute raten sogar, KI-Crawler ausdrücklich zuzulassen. Und über den Googlebot redet in dieser Debatte kaum jemand gern, weil an ihm die Sichtbarkeit in der Suche hängt.
Das Wichtigste in Kürze
- Rund 80 Prozent aller KI-Bot-Aktivität dienen dem Training von KI-Modellen, nur ein Bruchteil der Bot-Zugriffe bringt Besucher auf die Website.
- Die Zahl der Sitzungen, die über KI-Assistenten auf Websites kamen, stieg in den ersten fünf Monaten 2025 um 527 Prozent gegenüber dem Vorjahreszeitraum, allerdings von einer sehr kleinen Ausgangsbasis.
- Zwischen Juli 2025 und Januar 2026 sperrten fast siebenmal so viele Websites die KI-Crawler GPTBot und ClaudeBot wie den Googlebot.
- Cloudflare blockt KI-Crawler seit Juli 2025 standardmäßig und bietet zugleich ein Bezahlmodell namens Pay-per-Crawl an.
- Das Google-Problem war im April 2026 ungelöst: Eine Sperre des Googlebots kostet organische Sichtbarkeit.
Was hat den alten Deal gebrochen?
Das klassische Web beruhte auf einem Tauschgeschäft mit klaren Regeln: Suchmaschinen crawlen Inhalte und schicken im Gegenzug Besucher auf die Websites. Die Betreiber verdienen über Werbung an Besuchern und Klicks. Zwei Jahrzehnte lang hat dieser Tausch funktioniert.
KI-Crawler sammeln Inhalte dagegen, um daraus Antworten zu erzeugen, und schicken kaum Besucher zur Originalquelle. Den Urhebern der Inhalte entgehen damit Werbeeinnahmen, und sie erfahren nicht einmal, dass jemand ihre Texte liest.
Große Nachrichtenmedien wie die New York Times, das Wall Street Journal, Reuters und Vox haben KI-Crawler deshalb bereits ausgesperrt. In einer achtwöchigen Studie mit 40 großen Verlagen sanken 2025 die Zugriffe aus der Google-Suche im Median um 10 Prozent, bei Marken ohne Nachrichtenangebot sogar um 14 Prozent.
Was kostet KI-Crawling WordPress-Betreiber wirklich?
WordPress-Websites sind besonders anfällig: Jede Crawler-Anfrage löst auf dem Server PHP-Prozesse, Plugin-Logik und Datenbankabfragen aus. Eine statische HTML-Seite wäre deutlich günstiger auszuliefern. Ohne einen leistungsfähigen WordPress Hosting Anbieter, ohne Caching und ohne CDN zahlen Betreiber einen Teil der Trainingskosten fremder KI-Modelle schnell aus der eigenen Tasche.
KI-Bots crawlen oft weitaus aggressiver als klassische Suchmaschinen: Manche besuchen dieselben Seiten alle paar Stunden, andere überziehen eine Website mit Hunderten Anfragen pro Sekunde.
Im April 2025 lag das Crawling-Volumen bereits 32 Prozent über dem Wert vom April 2024.
Auch auf die robots.txt ist kein Verlass. In einer Studie verzeichneten 72 Prozent der getesteten britischen Websites Verstöße von KI-Crawlern gegen ihre robots.txt-Regeln.
ruft der Crawler von Anthropic ab, bevor er einen einzigen Besucher auf die Website schickt.
aller KI-Bot-Aktivität dienen dem Training von KI-Modellen, nur ein Bruchteil bringt Besucher.
Crawling als ein Jahr zuvor, gemessen von Cloudflare im April 2025.
der in einer Studie getesteten britischen Websites verzeichneten Verstöße von KI-Crawlern.
Warum GEO-Fachleute vom Blockieren von KI-Bots abraten
GEO-Fachleute sind sich in diesem Punkt einig: Die robots.txt soll ausdrücklich sicherstellen, dass GPTBot, ClaudeBot und PerplexityBot nicht gesperrt sind. Die Überlegung dahinter ist nachvollziehbar, sie beruht nur auf einer anderen Vorstellung davon, was eine Website wert ist.
Wenn eine KI Ihre Marke in einer Antwort nennt, nehmen Nutzer Ihre Inhalte auf, ohne Ihre Website zu besuchen, und verbinden das Wissen trotzdem mit Ihrer Marke. Mit oder ohne Klick wächst so die Markenbekanntheit. Im April 2026 sperrten rund 80 Prozent der führenden Nachrichtenverlage mindestens einen Crawler für KI-Training. Für alle anderen ist das ein Vorteil: Je weniger Verlage ihre Inhalte freigeben, desto häufiger kommen die übrigen in KI-Antworten vor.
Websites, die nach einer Auswertung eine vollständige „KI-Identitätsinfrastruktur“ aufgebaut hatten, wurden 4,2-mal häufiger von KI-Systemen zitiert als Websites, die nur auf robots.txt und Sperren setzten.
Der GEO-Ansatz setzt damit auf einen Vertrauensvorschuss: Inhalte bleiben zugänglich, in der Erwartung, dass sich Sichtbarkeit in KI-Antworten langfristig in Markenwert auszahlt.
Das Google-Dilemma: Blockieren auf eigenes Risiko
Google bündelt seinen Crawler für die Suche, das KI-Training und Werkzeuge, die Anzeigen prüfen, in einem einzigen Paket. Der Konzern sitzt damit am längeren Hebel: Verlage können das Paket nicht ablehnen, ohne ernste Folgen zu riskieren. Cloudflare-Chef Matthew Prince sagt es deutlich: Google halte sein Recht auf alle Inhalte der Welt für selbstverständlich, weil der Konzern seit 27 Jahren den Traffic liefere.
Eine Sperre des Googlebots kostet die meisten Medienhäuser einen Großteil ihres Umsatzes, und bis April 2026 gab es keinen technischen Weg, die Indexierung für die Suche vom KI-Training zu trennen.
Cloudflare hat deshalb eine „Content Signals Policy“ vorgeschlagen, die drei getrennte robots.txt-Anweisungen vorsieht: für Suche, KI-Antworten und KI-Training. Google hat sich bis April 2026 jedoch nicht verpflichtet, diese Signale zu beachten.
Die britische Wettbewerbsbehörde CMA hat Google im Oktober 2025 den Status eines Unternehmens mit strategischer Marktstellung zugewiesen, der strengere Auflagen möglich macht. Daily Mail, Guardian und die News Media Association forderten öffentlich eine Pflicht zur Crawler-Trennung. Ob und wann sie kommt, war im April 2026 offen.
Anthropics Crawler holt bis zu 100.000 Seiten, bevor er einen Besucher schickt. Auf diesen Tausch würde sich kein Verlag freiwillig einlassen.
Michael Dobler, Herausgeber Dr. Web
Gibt es einen dritten Weg?
Ja, aber nicht für jeden.
Reddit hat es vorgemacht: Die Plattform schloss Lizenzverträge mit Google und OpenAI und lässt sich den Zugriff auf die Beiträge ihrer Nutzer vergüten. Den meisten Website-Betreibern fehlt dafür die Verhandlungsmacht.
Im Juli 2025 hat Cloudflare einen Marktplatz für Pay-per-Crawl gestartet. Websites können KI-Unternehmen darüber den Zugriff auf ihre Inhalte in Rechnung stellen. Technisch antwortet Cloudflare dabei mit dem Statuscode HTTP 402 „Payment Required“. Statt einen KI-Crawler still zu blockieren, legt der Betreiber ihm so seine Lizenzbedingungen vor und bietet ihm einen förmlichen Weg zur Verhandlung an.
Neil Vogel, Chef von People Inc., dem größten Zeitschriftenverlag der USA, berichtete: Sein Unternehmen sperrt mit der Lösung von Cloudflare KI-Crawler, die nicht zahlen, und führt bereits Lizenzverhandlungen mit mehreren großen Anbietern von Sprachmodellen. Das Modell kommt also in Gang, setzt aber eine gewisse Größe voraus.
Was sollten WordPress-Betreiber jetzt konkret tun?
Je nach Geschäftsmodell bieten sich zwei Wege an, ein dritter Schritt gilt für alle (Stand: April 2026):
- Werbefinanzierte Websites: GPTBot und ClaudeBot in der robots.txt sperren, Googlebot und PerplexityBot offen lassen. Der KI-Blocker von Cloudflare lässt sich mit einem Klick einschalten, ist in allen Tarifen einschließlich des kostenlosen verfügbar und aktualisiert sich automatisch. Die robots.txt allein reicht nicht, weil sie auf freiwilliger Einhaltung beruht.
- Marken und Beratungsunternehmen: Die GEO-Strategie prüfen. Wenn Sichtbarkeit in KI-Antworten zum Marketingziel passt, KI-Crawler zulassen und die Inhalte zugleich strukturiert aufbereiten: direkte Antworten in den ersten Sätzen, FAQ-Schema-Markup, zitierfähige Daten. Eine llms.txt-Datei soll KI-Systemen helfen, Aufbau und Inhalte der Website richtig zu erfassen.
- Alle WordPress-Betreiber: Firewall-Regeln einrichten, die HTTP-Header auswerten, denn der ChatGPT-Agent von OpenAI meldet sich über den Header „Signature-Agent“ statt über einen eindeutigen User-Agent. Die Serverlogs regelmäßig auf unbekannte Crawler prüfen.
GPTBot und ClaudeBot sperren, Googlebot und PerplexityBot offen lassen, Cloudflares KI-Blocker einschalten.
KI-Crawler zulassen, direkte Antworten, FAQ-Schema und eine llms.txt-Datei anbieten.
Lizenzverträge nach dem Vorbild von Reddit oder Pay-per-Crawl mit der Antwort HTTP 402 nutzen.
Firewall-Regeln für HTTP-Header einrichten und die Serverlogs regelmäßig auf unbekannte Crawler prüfen.
Ein pauschales Ja oder Nein gibt es nicht. Die Entscheidung hängt davon ab, womit eine Website ihr Geld verdient.
FAQ: Sollen Websites KI-Crawler dulden oder aussperren?
Sollten WordPress-Betreiber KI-Crawler blockieren?
Das hängt vom Geschäftsmodell ab. Werbefinanzierte Websites sperren GPTBot und ClaudeBot, lassen aber Googlebot und PerplexityBot offen. Marken und Beratungsunternehmen, die in KI-Antworten genannt werden wollen, lassen KI-Crawler zu und bereiten ihre Inhalte dafür auf.
Reicht ein Eintrag in der robots.txt, um KI-Crawler auszusperren?
Nein, die robots.txt beruht auf freiwilliger Einhaltung. In einer Studie verzeichneten 72 Prozent der getesteten britischen Websites Verstöße von KI-Crawlern gegen ihre robots.txt-Regeln. Verlässlicher sind Firewall-Regeln, wie sie etwa der KI-Blocker von Cloudflare setzt.
Kann ich den Googlebot sperren, ohne Sichtbarkeit zu verlieren?
Nein, Google trennt Suchindex und KI-Training technisch nicht (Stand: April 2026). Eine Sperre des Googlebots kostet organische Sichtbarkeit. Cloudflare hat mit der Content Signals Policy getrennte Signale für Suche, KI-Antworten und KI-Training vorgeschlagen, Google hat sich bis April 2026 aber nicht verpflichtet, sie zu beachten.
Was ist Pay-per-Crawl?
Pay-per-Crawl ist ein Marktplatz von Cloudflare, über den Websites KI-Unternehmen den Zugriff auf ihre Inhalte in Rechnung stellen. Cloudflare hat ihn im Juli 2025 gestartet. Statt einer stillen Sperre erhält der Crawler die Antwort HTTP 402 „Payment Required“ mit Lizenzinformationen.
Warum raten GEO-Fachleute, KI-Crawler zuzulassen?
Eine Nennung in einer KI-Antwort schafft Markenbekanntheit, auch ohne Klick. Websites, die nach einer Auswertung eine vollständige „KI-Identitätsinfrastruktur“ aufgebaut hatten, wurden 4,2-mal häufiger von KI-Systemen zitiert als Websites, die nur auf robots.txt und Sperren setzten.
Wie erkenne ich den ChatGPT-Agenten von OpenAI auf meiner Website?
Der Agent meldet sich über den signierten Header „Signature-Agent“ statt über einen eindeutigen User-Agent. Firewall-Regeln, die HTTP-Header auswerten, erkennen diesen Header. Zusätzlich lohnt ein regelmäßiger Blick in die Serverlogs, um unbekannte Crawler früh zu entdecken.
Mehr Lesehunger?
- Wird Agentic Search zum Sargnagel klassischer Suchmaschinenoptimierung?
- Was kann der neue Firefly Video Editor?
- Per Spracheingabe bis zu 7 Adobe Apps steuern? Die Firefly-KI macht’s möglich.
- E-Auto im Mehrfamilienhaus laden: Welche Förderbedingungen gelten wirklich?
Quellen
- Cloudflare, „The crawl-to-click gap: AI bots, training, and referrals“, blog.cloudflare.com/crawlers-click-ai-bots-training/, besucht am 28.04.2026
- Cloudflare, „The 2025 Cloudflare Radar Year in Review“, blog.cloudflare.com/radar-2025-year-in-review/, besucht am 28.04.2026
- Cloudflare, „Google’s AI advantage: why crawler separation is the only path to a fair Internet“, blog.cloudflare.com/uk-google-ai-crawler-policy/, besucht am 28.04.2026
- Search Engine Land, „Cloudflare Content Signals Policy“, searchengineland.com/cloudflare-content-signals-462538, besucht am 28.04.2026
- TechCrunch, „Cloudflare CEO Matthew Prince is pushing UK regulator to unbundle Google’s search and AI crawlers“, techcrunch.com/2025/10/21/, besucht am 28.04.2026
- Playwire, „How to Block AI Scrapers“, playwire.com/blog/how-to-block-ai-scrapers, besucht am 28.04.2026
- 365i, „AI Crawlers Violate robots.txt on 72% of UK Sites“, 365i.co.uk/blog/2026/01/07/ai-crawler-compliance-tracking-cloudflare/, besucht am 28.04.2026
- Search Engine Land, „Mastering Generative Engine Optimization in 2026“, searchengineland.com/mastering-generative-engine-optimization-in-2026-full-guide-469142, besucht am 28.04.2026
- Frase.io, „What is GEO? 2026 Guide“, frase.io/blog/what-is-generative-engine-optimization-geo, besucht am 28.04.2026
- OpenAI, „ChatGPT Agent Allowlisting“, help.openai.com/en/articles/11845367-chatgpt-agent-allowlisting, besucht am 28.04.2026
- OpenAI, „OpenAI and Reddit Partnership“, openai.com/index/openai-and-reddit-partnership/, besucht am 28.04.2026
