Google hat am 11. November erklärt, warum Googlebot kurz nach dem Wechsel zu einem CDN oft mehr Seiten abruft als zuvor. Die schnellen Antworten des neuen Netzes melden dem Crawler freie Kapazität, doch der Zwischenspeicher ist noch leer und reicht jede neue Adresse an den Ursprungsserver weiter. Ein pauschaler Bot-Schutz als Gegenmittel kann Googlebot gleich mit aussperren.
Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügenInhalt 5 Abschnitte
Google hat im Search-Central-Blog am 11. November beschrieben, was beim Umzug einer Website zu einem Content Delivery Network (CDN) mit dem Crawling passiert.[1] Google rät zu drei Gegenmaßnahmen, damit weder der eigene Server überlastet wird noch Googlebot ausgesperrt bleibt.[1] Eine regionale Einschränkung nennt Google nicht, die Hinweise gelten also auch für Websites in Deutschland, Österreich und der Schweiz.
Das Wichtigste in Kürze
- Nach dem Umzug antwortet die Website schneller. Googles Crawler erhöhen daraufhin schrittweise die Abrufrate.[1]
- Der Zwischenspeicher des CDN ist anfangs leer: Jede erstmals angefragte Adresse geht bis zum Ursprungsserver.[1]
- Pauschaler Bot-Schutz mit Prüfseiten wie CAPTCHA stoppt Googlebot, im Ergebnis können Seiten aus der Suche fallen.[1]
- Google rät, verifizierte Crawler freizugeben, den Cache vorzuwärmen und notfalls kurz 429 oder 503 auszuliefern.[1]
Warum ruft Googlebot nach dem CDN-Umzug mehr ab?
Abrufrate: Googles Crawler messen laufend, wie schnell ein Server antwortet. Bei schnellen und stabilen Antworten steigt das Crawl-Limit des Hosts schrittweise, sofern Bedarf besteht.[1] Zeigt der DNS-Eintrag auf das CDN, sinken die Antwortzeiten stark. Für Google wirkt der Server dann wie nach einem Hardware-Upgrade.[1] Die Grundlagen hat Dr. Web im Beitrag zum Crawl Budget zusammengefasst.
Kalter Cache: Ein neues CDN startet mit leerem Zwischenspeicher. Bei der ersten Anfrage nach einer Adresse holt der Edge-Server die Antwort vom Ursprungsserver und speichert sie, erst die folgenden Abrufe bedient er selbst.[1] Besucher konzentrieren sich auf wenige Seiten, die den Cache schnell füllen. Crawler gehen umgekehrt vor und arbeiten die ganze Adressmenge ab, jede unbekannte Adresse wird damit zum Cache-Miss.[1] Bei WordPress baut ohne eigenen Seiten-Cache jedes Mal PHP die Seite neu. Wie knapp die PHP-Worker dabei werden, zeigt die Bot-Grenze von WP Engine.
Wann sperrt der Bot-Schutz Googlebot aus?
Pauschale Regeln: Mancher Betreiber schaltet im CDN-Dashboard allgemeinen Bot-Schutz ein, sobald die Zugriffe am Ursprungsserver steigen. Ohne Ausnahmen trifft ein solcher Schutz auch Googlebot, der Prüfaufgaben wie ein CAPTCHA nicht löst.[1] Bleibt die Regel aktiv, ziehen sich Googles Crawler zurück. Seiten fallen dann laut Google aus der Suche.[1] Wie schnell eine Standardregel Googlebot trifft, zeigte die Cloudflare-Blockade für KI-Crawler.
Verifizierte Bots: Googlebot lässt sich über Googles veröffentlichte IP-Bereiche erkennen.[1] Die Kennung im User-Agent genügt als Freigabe nicht, denn Gary Illyes von Google sagt, ein falscher Googlebot sei in 30 Sekunden gebaut. Die Freigabe für Googlebot sollte deshalb an die Adresse geknüpft sein.
Ablauf nach dem Umzug
Googlebot arbeitet die Breite der Adressmenge ab, Besucher klicken vor allem beliebte Seiten. Deshalb füllt sich der Cache für Crawler langsamer.
Was Google empfiehlt
Ein CDN entlastet den Server erst ab dem zweiten Abruf einer Seite. Bei vielen Seiten kommt der erste vom Crawler.
Markus Seyfferth, Chefredakteur Dr. Web
Was sollten Betreiber vor dem CDN-Umzug tun?
- Googlebot über die Adresse freigeben: Die Ausnahme in CDN und Firewall an Googles IP-Bereiche oder die Regel des Anbieters für verifizierte Bots knüpfen, nie an den User-Agent.[1]
- Cache vorwärmen: Startseite, Kategorien, meistgenutzte Seiten und saisonale Aktionsseiten vor dem Umschalten in kontrolliertem Tempo über das CDN abrufen,[1] bei Aktionsseiten zum Black Friday am 27. November besonders.
- Notbremse mit Frist: Droht dem Ursprungsserver kritische Last, hilft für Stunden bis höchstens 1–2 Tage ein 429 oder 503, gern mit Retry-After. Dauert die Bremse länger, kann Google die Adresse aus dem Index nehmen.[2]
Die Crawling-Statistik der Google Search Console und die Server-Logs des Hosters zeigen den Verlauf. Passende Hosting-Anbieter für WordPress vergleicht Dr. Web im WordPress-Hosting-Vergleich, das Grundprinzip beschreibt der Ratgeber zum CDN. Da ein CDN Besucherdaten verarbeitet, gehört zum Umzug zudem ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO.
FAQ: Googlebot und CDN-Umzug
Warum crawlt Googlebot nach einem CDN-Umzug mehr?
Googles Crawler erhöhen die Abrufrate, wenn ein Server schnell und stabil antwortet. Nach dem Wechsel zu einem CDN sinken die Antwortzeiten stark, der Crawler wertet das als freie Kapazität. Der Zwischenspeicher ist anfangs leer, deshalb trifft jede neue Adresse zunächst den Ursprungsserver.
Darf ich Googlebot nach dem CDN-Umzug bremsen?
Ja, kurz. Google empfiehlt für Stunden bis höchstens 1–2 Tage den Statuscode 429 oder 503, optional mit Retry-After. Länger sollte die Bremse nicht laufen, sonst kann Google die Adresse aus dem Index nehmen.
Was passiert, wenn der Bot-Schutz Googlebot blockiert?
Googlebot löst Prüfaufgaben wie ein CAPTCHA nicht. Bleibt die Blockade bestehen, ziehen sich Googles Crawler zurück. Seiten fallen nach Googles Angaben aus der Suche. Verifizierte Crawler sollten deshalb von den Regeln ausgenommen sein.
Woran erkenne ich den echten Googlebot?
An der Adresse. Google veröffentlicht IP-Bereiche seiner Crawler, auch eine DNS-Abfrage in beide Richtungen ist möglich. Der User-Agent allein genügt nicht, weil er sich leicht fälschen lässt.
Quellen
2 Quellen anzeigenQuellen ausblenden
- Google Search Central BlogMoving to a CDN without overwhelming your origin (or blocking Googlebot)
- Google Search CentralReduce the Google crawl rate
Mehr Newshunger?
- Cloudflare blockiert KI-Trainings-Crawler ab September standardmäßig, auch Googlebot
- Google: Ein falscher Googlebot ist in 30 Sekunden gebaut
- Google hält wichtige Seiten trotz 4xx-Fehler kurz im Index
- WP Engine begrenzt Bot-Traffic auf 80 Prozent der PHP-Worker
- Bunny CDN tauscht TLS-Zertifikate aus, nachdem ein Serveranbieter einen Einbruch meldete
- Crawl Budget: So sichern Sie sich Top-Platzierungen in Google
- Technisches SEO 2026: Core Web Vitals, INP und KI-Suche
