Ein Agent, der im Auftrag eines Nutzers im Shop sucht, filtert und ein Produkt in den Warenkorb legt, muss an der Bot-Abwehr der Website vorbei. Google hat am 17. November erklärt, wie Betreiber den Google-Agent dort durchlassen, ohne die übrigen Schutzregeln zu lockern. Als Ausweis dienen der User-Agent, vier Adressblöcke und eine optionale Signatur.
Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügenInhalt 6 Abschnitte
Google hat am 17. November die Hilfeseite „Allow Google-Agent traffic“ veröffentlicht.[1] Die Seite richtet sich an Betreiber, die den Agenten ausdrücklich zulassen wollen. Sie beschreibt die Prüfung in CDN, Firewall und Bot-Erkennung. Der Google-Agent selbst ist nicht neu, Google führt ihn in der Liste der nutzerausgelösten Abrufer.[2]
Das Wichtigste in Kürze
- Google-Agent heißt die Kennung für Agenten, die auf Google-Infrastruktur laufen und im Auftrag von Nutzern im Web navigieren und handeln.
- Als echt gilt eine Anfrage mit „Google-Agent“ im User-Agent und einer IP-Adresse aus der Datei user-triggered-agents.json, eine Signatur ist optional.
- Geprüfte Anfragen sollen keine Bot-Challenges bekommen, auch keine CAPTCHAs und JavaScript-Prüfungen.
- Die robots.txt hilft nicht, weil nutzerausgelöste Abrufer sie in der Regel ignorieren.
Woran erkennt die Website den Google-Agent?

Ausweis: Jede Anfrage enthält „Google-Agent“ im User-Agent und kommt aus einem Adressblock der Datei user-triggered-agents.json.[1] Die Datei listet drei IPv4-Blöcke und einen IPv6-Block.[3] Zusätzlich testet Google das Verfahren Web Bot Auth: Signierte Anfragen setzen den Header Signature-Agent mit der Kennung agent.bot.goog, den öffentlichen Schlüssel veröffentlicht Google selbst.[1]
Prüfreihenfolge: Erkennt die Plattform den Agenten nicht von selbst, nennt Google drei Prüfungen: User-Agent, IP-Bereich und, falls vorhanden, die Signatur. Für verifizierte Anfragen entfallen die Bot-Challenges.[1] Der User-Agent allein genügt nicht, denn Google warnt selbst vor gefälschten Zeichenketten.[2] Ein falscher Googlebot ist in 30 Sekunden gebaut.
robots.txt: Die Textdatei entscheidet hier nichts. Nutzerausgelöste Abrufer ignorieren sie laut Google in der Regel, weil ein Nutzer den Abruf angestoßen hat.[2] Die Entscheidung fällt an der Firewall.
Wo bleibt die Freigabe trotzdem hängen?
Regelreihenfolge: Google nennt sechs Stolpersteine.[1] Die Freigabe muss vor pauschalen Sperren für Rechenzentrums-Netze, vor verwalteten Bot-Regeln und vor Richtlinien gegen KI-Agenten greifen, sonst gewinnt die Sperre. Auch CAPTCHA-Felder an Suche und Formularen müssen entfallen.
Ganze Sitzung: Die Freigabe soll die Suche, Filter, Detailseiten, den Warenkorb, Buchungen und die dahinterliegenden XHR-, GraphQL- und api.*-Endpunkte abdecken.[1] Ratenbegrenzungen pro IP-Adresse treffen den Agenten, weil sich mehrere Nutzer denselben Ausgangspool teilen.[1]
Mechanismus: Nach Einschätzung der Redaktion liegt darin der Kern. Bot-Abwehr bewertet Muster wie Rechenzentrums-Adressen, fehlende Cookies und viele Anfragen einer Adresse. Ein Agent für viele Nutzer zeigt genau diese Muster. Bei WordPress-Seiten sitzt die Abwehr oft an mehreren Stellen zugleich, im Hoster-Netz, im vorgeschalteten CDN und im Sicherheits-Plugin. Jede Schicht kann blockieren.
Wo bleibt die Freigabe hängen?
Orange: die Auswertungsreihenfolge steht in Googles Fehlersuche an erster Stelle.
Bot-Schutz hieß bisher: draußen bleiben. Bei Agenten, die für Kunden einkaufen, entscheidet er künftig, wer beim Umsatz mitspielt.
Markus Seyfferth, Chefredakteur Dr. Web
Was bedeutet das für Betreiber im DACH-Raum?
Verfügbarkeit: Die Hilfeseite nennt keine regionale Einschränkung.[1] Wie oft der Google-Agent Seiten in Deutschland besucht, veröffentlicht Google nicht.
Serie: Die Seite ist der nächste Schritt in einer Reihe. Google erklärte zuvor, was nach einem CDN-Umzug mit dem Crawler-Ansturm geschieht. Cloudflare schlug vier Identitätsstufen für KI-Agenten vor. Dass Agenten längst messbaren Verkehr erzeugen, zeigt der Bericht, nach dem Meta und OpenAI fast 90 Prozent der KI-Agenten-Anfragen stellen. Nach Einschätzung der Redaktion verschiebt sich die Zugangsfrage damit vom Crawler zum Agenten.
Dokumentation: Die Freigabe verändert eine Sicherheitsmaßnahme. Betreiber sollten sie festhalten, denn Artikel 32 DSGVO verlangt angemessene technische Schutzmaßnahmen.
Was sollten Betreiber jetzt tun?
- Schicht klären: Prüfen, ob CDN, Hoster-Firewall oder Sicherheits-Plugin die Bot-Abwehr stellt.
- Logs lesen: Im Server-Log nach „Google-Agent“ im User-Agent suchen und die Statuscodes 403, 429 und 503 prüfen.
- Regel bauen: User-Agent, IP-Bereich und optional die Signatur prüfen, bei Treffer Challenges überspringen.
- Reihenfolge ändern: Die Freigabe vor Rechenzentrums-Sperren und Bot-Regeln auswerten lassen.
- Liste synchron halten: Die Adressblöcke aus user-triggered-agents.json automatisch beziehen, nicht von Hand kopieren.
Betreiber ohne Interesse an Agenten lassen die Abwehr unverändert, Googles Seite richtet sich an Interessierte. Wie Inhalte in KI-Antworten auftauchen, erklärt der GEO-Ratgeber, die Grundlagen zur Crawlbarkeit stehen in den SEO-Grundlagen.
FAQ: Google beschreibt die Firewall-Freigabe für den Google-Agent
Ist der Google-Agent dasselbe wie der Googlebot?
Nein. Der Googlebot crawlt für den Suchindex, der Google-Agent handelt im Auftrag eines Nutzers. Beide haben eigene User-Agents und stehen an getrennten Stellen der Google-Dokumentation.
Beachtet der Google-Agent die robots.txt?
In der Regel nicht. Google zählt ihn zu den nutzerausgelösten Abrufern, und diese ignorieren die robots.txt laut Dokumentation im Allgemeinen, weil ein Nutzer den Abruf angestoßen hat.
Woran erkenne ich den Google-Agent im Server-Log?
Der User-Agent enthält „Google-Agent“, und die IP-Adresse steht in der Datei user-triggered-agents.json. Wegen möglicher Fälschungen sollten Sie beides prüfen, nicht nur die Zeichenkette.
Muss ich den Google-Agent zulassen?
Nein. Googles Seite richtet sich an Betreiber, die den Agenten für ihre Website freigeben wollen. Wer das nicht will, lässt die Bot-Abwehr unverändert.
Quellen
3 Quellen anzeigenQuellen ausblenden
- Google Search CentralAllow Google-Agent traffic, abgerufen am 17. November 2026
- Google Search CentralList of Google user-triggered fetchers, abgerufen am 17. November 2026
- Googleuser-triggered-agents.json, abgerufen am 17. November 2026
Mehr Newshunger?
- Google: Ein falscher Googlebot ist in 30 Sekunden gebaut
- Google erklärt den Crawler-Ansturm nach dem CDN-Umzug
- Meta und OpenAI stellen fast 90 Prozent der KI-Agenten-Anfragen
- Cloudflare schlägt vier Identitätsstufen für KI-Agenten vor
- Bösartige Bots: Wer hinter 40 Prozent des Webverkehrs steckt
- Google hält wichtige Seiten trotz 4xx-Fehler kurz im Index
