Google: Ein falscher Googlebot ist in 30 Sekunden gebaut

Ein Eintrag im Header der Anfrage genügt, und ein fremder Crawler gibt sich als Googlebot aus. Google-Mitarbeiter Gary Illyes sagt, so ein Skript sei in 30 Sekunden geschrieben, und er sieht solche Fälschungen auf eigenen Testseiten. Verlässlich prüfen lässt sich ein Googlebot nur über seine Adresse, Googles neue Signaturen decken ihn nicht ab.

Gary Illyes vom Google-Suchteam hat in einem am 28. Oktober veröffentlichten Interview des Odys Podcast erklärt, wie leicht sich Crawler als Googlebot ausgeben. „Wenn ich als Googlebot crawlen wollte, bräuchte ich wahrscheinlich 30 Sekunden, um das Skript zu schreiben“, sagte Illyes. Auf die Frage, wie verbreitet das sei, antwortete er: „Leider sehr.“^[1]

Warum geben sich Crawler als Googlebot aus?

Illyes betreibt nach eigenen Angaben Köder-Websites mit Inhalten, die Crawler anziehen. In deren Logdateien findet er Anfragen mit der Kennung Googlebot, die von Adressen außerhalb von Google stammen. Zahlen nannte er nicht. Den Grund sieht er in der Jagd nach Trainingsdaten: Immer mehr Unternehmen bräuchten Inhalte für eigene Sprachmodelle und grasten das Netz danach ab.^[1]

Früher lohnte die Tarnung, weil viele Betreiber den Googlebot ungeprüft durchließen. Dass Angreifer auch die Namen anderer Crawler nutzen, zeigte im August eine Welle von Schwachstellen-Scans unter dem Namen von KI-Crawlern wie ClaudeBot. Illyes warnt vor einem zweiten Risiko: Ein schlecht gebauter Crawler könne eine Seite in kurzer Zeit tausendfach abrufen und die Website lahmlegen. Die robots.txt hält ihn nicht auf, sie sei „nur eine Empfehlung“. Sperren lasse sich ein Crawler nur mit einer Abwehr auf Netzwerkebene.^[1]

Signaturen gelten bisher nur für Googles KI-Agenten

Google testet derzeit das Verfahren Web Bot Auth, einen Entwurf der Standardisierungsorganisation IETF. Dabei unterschreibt der Absender Teile seiner Anfrage mit einem geheimen Schlüssel, die Website prüft die Unterschrift mit einem öffentlichen. Die Dokumentation in der Fassung vom 13. Oktober nennt als Teilnehmer nur Google-Agent, den Dienst, über den Googles KI-Agenten im Auftrag von Nutzern Seiten öffnen. Signiert ist nur ein Teil seiner Anfragen, Google spricht von einem Experiment.^[3]

Den Nutzen begründet Illyes mit der Knappheit von IPv4-Adressen: Neue Crawler-Betreiber kämen kaum an eigene Adressbereiche und teilten sich Adressen mit Websites. Eine Signatur löst die Identität von der Adresse.^[1] Google-Agent beachtet die robots.txt laut Google in der Regel nicht, weil ein Mensch den Abruf auslöst. Eine Sperre per robots.txt, wie sie die Suchmaschinen gerade für das KI-Training vereinheitlichen, erreicht ihn also nicht.^[4]

Was sollten Website-Betreiber jetzt tun?

• Ausnahmen prüfen: Firewall-Regeln und Sicherheits-Plugins, die Googlebot anhand der Kennung durchlassen, auf eine Prüfung der Adresse umstellen.
• Logs abgleichen: Den Crawling-Statistikbericht der Google Search Console mit den eigenen Logdateien vergleichen. Er beruht auf Googles Daten und zählt keine Fälschungen.
• Lastspitzen begrenzen: Bei auffällig vielen Abrufen ein Content Delivery Network mit Bot-Abwehr vorschalten, viele Anbieter haben einen kostenlosen Tarif.
• Gelassen bleiben: Kleine Websites haben laut Illyes meist kein Bot-Problem, er rät, erst nachzusehen.

Wie viel Last fremde Crawler erzeugen können, zeigte zuletzt kernel.org mit sechs Millionen Anfragen am Tag. Die Grundlagen der Abwehr fasst der Ratgeber zur WordPress-Sicherheit zusammen.

FAQ: Google: Ein falscher Googlebot ist in 30 Sekunden gebaut

Quellen

Mehr Newshunger?

• Google, Bing und OpenAI wollen eine gemeinsame robots.txt-Regel gegen KI-Training beachten
• Google: Ohne crawlbare Weiterleitung kein Favicon im Suchergebnis
• Google: Die robots.txt regelt den Zugriff, nicht die KI-Nutzung
• Bösartige Bots: Wer hinter 40 Prozent des Webverkehrs steckt
• EU-Datenschützer: KI-Entwickler sollen Websites mit robots.txt-Sperre auslassen
• Cloudflare blockiert KI-Trainings-Crawler ab September standardmäßig, auch Googlebot