WP Engine sperrt KI-Crawler: Kunden tappen im Dunkeln

Michael Dobler
Autor Dr. Web
2 Min. Lesezeit
Mehr Newshunger?

Hand aufs Herz: Haben Sie kürzlich überprüft, ob ChatGPT, Claude oder Perplexity Ihre Inhalte überhaupt lesen dürfen? Viele WordPress-Sites sind für KI-Crawler nicht zitierfähig, obwohl SEO, Schema-Markup und robots.txt einwandfrei konfiguriert sind. 

drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen

Das Wichtigste in Kürze

  • WP Engine drosselt ClaudeBot, GPTBot und Amazonbot auf Serverebene standardmäßig mit HTTP-429-Fehlern.
  • Die Sperre ist für Kunden unsichtbar: Weder das Cloudflare-Dashboard noch Sicherheits-Plugins zeigen die 429-Antworten an.
  • Eine Eskalation an WP Engines Product Engineering kann die Sperre aufheben. Als Self-Service-Einstellung ist sie nicht abschaltbar.

SEO-Experte Will Scott hat sieben Tage Cloudflare-Logs seiner WordPress-Site ausgewertet, die auf WP Engine läuft. Das Ergebnis war eindeutig: Google AI Mode zitierte seine Inhalte zu 37,8 %, Claude landete bei exakt 0 %. Die Ursache war eine UA-basierte Rate-Limiting-Regel, die ClaudeBot zu 29 % mit HTTP-429-Fehlern abwies, GPTBot ebenfalls zu 29 % und Amazonbot zu 51 %. Kinsta, Pressable und Pantheon haben diese Standardregel nicht.

Besonders brisant: Die Sperre sitzt auf einer Infrastrukturebene, die Kunden nicht einsehen können. Wordfence, Sucuri und Solid Security loggen auf WordPress-Anwendungsebene. WP Engines eigener Cloudflare-Layer liegt davor und taucht nicht im kundenseitigen Cloudflare-Dashboard auf. Selbst ein Blick in das Web-Rules-Menü bleibt leer, weil die Sperre dort gar nicht konfiguriert ist.

Laut einem Bericht von SEO-Experte Will Scott hat WP Engine den Sachverhalt im Support-Chat schriftlich bestätigt: Plattformweites Rate-Limiting für bestimmte hochvolumige Bots könne nicht per Bot deaktiviert werden. Der Cloudflare-Crawl-Analyse-Bericht Q1 2026 liefert den Kontext dazu: ClaudeBot schickt 20.583 Crawl-Anfragen für jeden weitergeleiteten Klick zurück, GPTBot 1.255 zu 1. Aus Hosting-Perspektive macht eine Drosselung Sinn. Aus GEO-Perspektive ist sie ein stiller Wettbewerbsnachteil.

So prüfen Sie Ihre Site in drei Minuten

Oranges ABUS-Vorhängeschloss mit Anhänger
curl-Test zeigt UA-basierte HTTP-429-Sperre für ClaudeBot auf WP-Engine-Hosting, während Browser HTTP-200 erhält

Ein curl-Test genügt, um Klarheit zu schaffen. Den Aufruf mit einem ClaudeBot-User-Agent gegen die eigene Startseite schicken und das HTTP-Statuscode-Ergebnis mit einem Browser-UA-Lauf vergleichen. HTTP-429 beim Bot, HTTP-200 beim Browser: Die Sperre ist UA-basiert und kommt von der Infrastrukturebene. Nächster Schritt ist ein Support-Ticket bei WP Engine mit dem reproduzierten Befund und der Bitte um Eskalation an das Product Engineering. Eine Ausnahme ist möglich, nur kein Self-Service.

Langfristig lohnt die Grundsatzfrage: Welche KI-Strategie verfolgt Ihr WordPress Hoster? Für die Hosting-Entscheidung liefert unser WordPress-Hosting-Vergleich die Grundlage. Wer schon heute wissen möchte, wie gut die eigenen Inhalte in KI-Antworten sichtbar sind, findet im Artikel Findet ChatGPT Ihr Unternehmen? konkrete Messmethoden und in unserem GEO-Ratgeber die Optimierungsstrategie dahinter.

Mehr Newshunger?

Grüner Leuchtturm mit Warnschild und kleinem, blindem Roboter mit Gehstock daneben
Generative Engine Optimization wird neben klassischem SEO wichtig. ChatGPT-Werbung expandiert in UK, Japan und weitere Märkte
4,3 50 Bewertungen

Wie hat Ihnen dieser Artikel gefallen?

Michael Dobler
Autor
Ich bin der Herausgeber von Dr. Web. Um praxisfit zu bleiben, unterstütze ich darüber hinaus Kunden bei der digitalen Kundengewinnung und Kundenbindung. Erste eigene Gehversuche im Internet unternahm ich 1999 mit einem Kinomagazin. Nach 15 Jahren in Lohn und Brot, u.a. als Projektmanager für digitale Medien, machte ich mich schließlich Ende 2005 selbständig. Das war die beste berufliche Entscheidung meines Lebens.
822 Artikel veröffentlicht
Alle Artikel

Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Newsletter

Mehr solcher Artikel?
Jetzt kostenlos abonnieren.

Jeden Dienstag die besten Artikel aus dem Dr. Web-Magazin direkt in Ihr Postfach – kein Spam, jederzeit abmeldbar.

Einmal pro Woche, kein täglicher Spam
Jederzeit mit einem Klick abmeldbar
DSGVO-konform via Brevo