Artikel teilen

Ein Agent, der im Auftrag eines Nutzers im Shop sucht, filtert und ein Produkt in den Warenkorb legt, muss an der Bot-Abwehr der Website vorbei. Google hat am 17. November erklärt, wie Betreiber den Google-Agent dort durchlassen, ohne die übrigen Schutzregeln zu lockern. Als Ausweis dienen der User-Agent, vier Adressblöcke und eine optionale Signatur.

Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügen
Inhalt 6 Abschnitte
  1. Woran erkennt die Website den Google-Agent?
  2. Wo bleibt die Freigabe trotzdem hängen?
  3. Was bedeutet das für Betreiber im DACH-Raum?
  4. Was sollten Betreiber jetzt tun?
  5. FAQ: Google beschreibt die Firewall-Freigabe für den Google-Agent
  6. Mehr Newshunger?

Google hat am 17. November die Hilfeseite „Allow Google-Agent traffic“ veröffentlicht.[1] Die Seite richtet sich an Betreiber, die den Agenten ausdrücklich zulassen wollen. Sie beschreibt die Prüfung in CDN, Firewall und Bot-Erkennung. Der Google-Agent selbst ist nicht neu, Google führt ihn in der Liste der nutzerausgelösten Abrufer.[2]

Auf einen Blick

Das Wichtigste in Kürze

  • Google-Agent heißt die Kennung für Agenten, die auf Google-Infrastruktur laufen und im Auftrag von Nutzern im Web navigieren und handeln.
  • Als echt gilt eine Anfrage mit „Google-Agent“ im User-Agent und einer IP-Adresse aus der Datei user-triggered-agents.json, eine Signatur ist optional.
  • Geprüfte Anfragen sollen keine Bot-Challenges bekommen, auch keine CAPTCHAs und JavaScript-Prüfungen.
  • Die robots.txt hilft nicht, weil nutzerausgelöste Abrufer sie in der Regel ignorieren.

Woran erkennt die Website den Google-Agent?

Pappfigur vor Absperrband mit Schild „Nur mit Ausweis“ vor weißem Hintergrund
Google-Agenten nutzen „Google-Agent“ im User-Agent und stammen aus vier IP-Blöcken der Datei user-triggered-agents.json. Anfragen werden durch Web Bot Auth mit signiertem Header verifiziert

Ausweis: Jede Anfrage enthält „Google-Agent“ im User-Agent und kommt aus einem Adressblock der Datei user-triggered-agents.json.[1] Die Datei listet drei IPv4-Blöcke und einen IPv6-Block.[3] Zusätzlich testet Google das Verfahren Web Bot Auth: Signierte Anfragen setzen den Header Signature-Agent mit der Kennung agent.bot.goog, den öffentlichen Schlüssel veröffentlicht Google selbst.[1]

Prüfreihenfolge: Erkennt die Plattform den Agenten nicht von selbst, nennt Google drei Prüfungen: User-Agent, IP-Bereich und, falls vorhanden, die Signatur. Für verifizierte Anfragen entfallen die Bot-Challenges.[1] Der User-Agent allein genügt nicht, denn Google warnt selbst vor gefälschten Zeichenketten.[2] Ein falscher Googlebot ist in 30 Sekunden gebaut.

robots.txt: Die Textdatei entscheidet hier nichts. Nutzerausgelöste Abrufer ignorieren sie laut Google in der Regel, weil ein Nutzer den Abruf angestoßen hat.[2] Die Entscheidung fällt an der Firewall.

Wo bleibt die Freigabe trotzdem hängen?

Regelreihenfolge: Google nennt sechs Stolpersteine.[1] Die Freigabe muss vor pauschalen Sperren für Rechenzentrums-Netze, vor verwalteten Bot-Regeln und vor Richtlinien gegen KI-Agenten greifen, sonst gewinnt die Sperre. Auch CAPTCHA-Felder an Suche und Formularen müssen entfallen.

Ganze Sitzung: Die Freigabe soll die Suche, Filter, Detailseiten, den Warenkorb, Buchungen und die dahinterliegenden XHR-, GraphQL- und api.*-Endpunkte abdecken.[1] Ratenbegrenzungen pro IP-Adresse treffen den Agenten, weil sich mehrere Nutzer denselben Ausgangspool teilen.[1]

Mechanismus: Nach Einschätzung der Redaktion liegt darin der Kern. Bot-Abwehr bewertet Muster wie Rechenzentrums-Adressen, fehlende Cookies und viele Anfragen einer Adresse. Ein Agent für viele Nutzer zeigt genau diese Muster. Bei WordPress-Seiten sitzt die Abwehr oft an mehreren Stellen zugleich, im Hoster-Netz, im vorgeschalteten CDN und im Sicherheits-Plugin. Jede Schicht kann blockieren.

So lassen Betreiber den Google-Agent durch
Laut Google Search Central, Stand 17. November 2026
4
Adressblöcke in user-triggered-agents.json: drei IPv4, ein IPv6
3
Prüfungen: User-Agent, IP-Bereich, Signatur (optional)
6
Stolpersteine in Googles Fehlersuche
robots.txt
greift bei nutzerausgelösten Abrufen in der Regel nicht

Wo bleibt die Freigabe hängen?

Reihenfolge
Sperren für Rechenzentrums-Netze, Bot-Regeln oder KI-Agent-Kategorien greifen vor der Freigabe
Challenges
CAPTCHAs und JavaScript-Prüfungen müssen entfallen, auch an Suche und Formularen
Sitzung
Suche, Filter, Detailseite, Warenkorb, Buchung sowie XHR-, GraphQL- und api.*-Endpunkte
Ratenlimit
Mehrere Nutzer teilen sich einen Ausgangspool, Limits pro IP-Adresse treffen alle
IP-Liste
Adressblöcke regelmäßig mit der veröffentlichten Datei abgleichen
Proxy-Header
Original-IP, User-Agent und Signatur-Header müssen beim Server ankommen

Orange: die Auswertungsreihenfolge steht in Googles Fehlersuche an erster Stelle.

Bot-Schutz hieß bisher: draußen bleiben. Bei Agenten, die für Kunden einkaufen, entscheidet er künftig, wer beim Umsatz mitspielt.

Markus Seyfferth, Chefredakteur Dr. Web
Zitat teilen

Was bedeutet das für Betreiber im DACH-Raum?

Verfügbarkeit: Die Hilfeseite nennt keine regionale Einschränkung.[1] Wie oft der Google-Agent Seiten in Deutschland besucht, veröffentlicht Google nicht.

Serie: Die Seite ist der nächste Schritt in einer Reihe. Google erklärte zuvor, was nach einem CDN-Umzug mit dem Crawler-Ansturm geschieht. Cloudflare schlug vier Identitätsstufen für KI-Agenten vor. Dass Agenten längst messbaren Verkehr erzeugen, zeigt der Bericht, nach dem Meta und OpenAI fast 90 Prozent der KI-Agenten-Anfragen stellen. Nach Einschätzung der Redaktion verschiebt sich die Zugangsfrage damit vom Crawler zum Agenten.

Dokumentation: Die Freigabe verändert eine Sicherheitsmaßnahme. Betreiber sollten sie festhalten, denn Artikel 32 DSGVO verlangt angemessene technische Schutzmaßnahmen.

Was sollten Betreiber jetzt tun?

  • Schicht klären: Prüfen, ob CDN, Hoster-Firewall oder Sicherheits-Plugin die Bot-Abwehr stellt.
  • Logs lesen: Im Server-Log nach „Google-Agent“ im User-Agent suchen und die Statuscodes 403, 429 und 503 prüfen.
  • Regel bauen: User-Agent, IP-Bereich und optional die Signatur prüfen, bei Treffer Challenges überspringen.
  • Reihenfolge ändern: Die Freigabe vor Rechenzentrums-Sperren und Bot-Regeln auswerten lassen.
  • Liste synchron halten: Die Adressblöcke aus user-triggered-agents.json automatisch beziehen, nicht von Hand kopieren.

Betreiber ohne Interesse an Agenten lassen die Abwehr unverändert, Googles Seite richtet sich an Interessierte. Wie Inhalte in KI-Antworten auftauchen, erklärt der GEO-Ratgeber, die Grundlagen zur Crawlbarkeit stehen in den SEO-Grundlagen.

FAQ: Google beschreibt die Firewall-Freigabe für den Google-Agent

Ist der Google-Agent dasselbe wie der Googlebot?

Nein. Der Googlebot crawlt für den Suchindex, der Google-Agent handelt im Auftrag eines Nutzers. Beide haben eigene User-Agents und stehen an getrennten Stellen der Google-Dokumentation.

Beachtet der Google-Agent die robots.txt?

In der Regel nicht. Google zählt ihn zu den nutzerausgelösten Abrufern, und diese ignorieren die robots.txt laut Dokumentation im Allgemeinen, weil ein Nutzer den Abruf angestoßen hat.

Woran erkenne ich den Google-Agent im Server-Log?

Der User-Agent enthält „Google-Agent“, und die IP-Adresse steht in der Datei user-triggered-agents.json. Wegen möglicher Fälschungen sollten Sie beides prüfen, nicht nur die Zeichenkette.

Muss ich den Google-Agent zulassen?

Nein. Googles Seite richtet sich an Betreiber, die den Agenten für ihre Website freigeben wollen. Wer das nicht will, lässt die Bot-Abwehr unverändert.

Quellen

3 Quellen anzeigenQuellen ausblenden
  1. Google Search CentralAllow Google-Agent traffic, abgerufen am 17. November 2026
  2. Google Search CentralList of Google user-triggered fetchers, abgerufen am 17. November 2026
  3. Googleuser-triggered-agents.json, abgerufen am 17. November 2026

Mehr Newshunger?

4,5 20 Bewertungen

Wie hat Ihnen dieser Artikel gefallen?

Dr. Web Newsletter

Jede Woche ein bisschen klüger.

Der Dr. Web Newsletter: die besten Artikel, Anbieter-Tipps und neue Tools, kompakt zusammengefasst, jeden Donnerstag. Kostenlos und jederzeit abbestellbar.