Google-Mitarbeiter Gary Illyes beschreibt die robots.txt in einem neuen Video als bloße Bitte: Die Datei bestimmt nur, welche Seiten ein Crawler abrufen soll. Für das Gemini-Training hat Google eine eigene Kennung namens Google-Extended, für die KI-Antworten der Suche einen Schalter in der Search Console.
Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügenEin KI-Crawler darf ein Blog über Hühner lesen, für das KI-Training sollen die Einträge aber nicht dienen. Mit diesem Beispiel fragt Cherry Prommawin ihren Kollegen in der Google-Videoreihe „The Non-Canonical Cabinet“, ob sich dieser Wunsch in der robots.txt festhalten lässt.[1]
Das Wichtigste in Kürze
- Selbst erfundene Zeilen für ein Trainingsverbot ignoriert der Parser von Google.
- Ein Ausschluss aus AI Overviews und AI Mode kostet Klicks, schützt aber nicht vor dem Training.
- Ein IETF-Entwurf mit Illyes als Mitautor soll die robots.txt um eine Zeile für Nutzungsvorbehalte ergänzen.
Was regelt die robots.txt nach Googles Lesart?
„Laut RFC 9309 ist die robots.txt ein Protokoll, mit dem Websites ihre Wünsche zum Zugriff äußern“, sagt Illyes. „Die Datei sagt nur, ob Sie diese Seite crawlen dürfen oder jene nicht. Was ein System mit den Daten macht, nachdem es sie gecrawlt hat, legt die Datei nicht fest.“[1] Eine Zugangskontrolle ist die Datei laut Standard ebenfalls nicht.[2]
Der Parser von Google kennt vier Anweisungen: User-agent, Allow, Disallow und Sitemap. Eine Zeile wie „No-AI-Chicken-Training“ landet laut Illyes im Papierkorb.[1] Wirksam ist die Sperre per Kennung, bei OpenAI etwa GPTBot für das Training.[8] Der Standard erlaubt Crawlern, zusätzliche Zeilen auszuwerten, verlangt das aber nicht.[2] An dieser Freiwilligkeit scheiterten schon Cloudflares Content Signals, mit denen Betreiber das KI-Training untersagen sollten und die Googles John Mueller im Juli für wirkungslos erklärte.
Welche Schalter bietet Google für KI-Funktionen?
Für Suche und KI schickt Google dieselben Crawler los, ein Disallow für den Googlebot träfe deshalb auch die Suche. Getrennt wird über die Kennung Google-Extended, hinter der kein eigener Crawler steht: Google liest den Eintrag als Steuersignal. Ein Disallow für Google-Extended hält Inhalte aus dem Training künftiger Gemini-Modelle und aus den Antworten der Gemini-Apps heraus. Ranking und Aufnahme in die Google-Suche bleiben davon unberührt.[3]
Für AI Overviews, AI Mode und die KI-Funktionen in Discover hat Google am 31. August weltweit einen Schalter in der Search Console freigegeben. Nach einem Ausschluss der Website fallen Links, Impressionen und Klicks aus diesen Antworten weg.[4] Wie stark AI Overviews die Treffer bei Suchen nach Markennamen prägen, zeigt eine Ahrefs-Auswertung.
Eine Sperre für Trainings-Crawler kostet keine Rankings, ein Ausschluss aus den AI Overviews kostet Klicks. Beides sollten Betreiber getrennt entscheiden.
Markus Seyfferth, Chefredakteur Dr. Web
Was welcher Weg sperrt und was er kostet
Was sollten Website-Betreiber jetzt prüfen?
Das deutsche Urheberrecht verlangt für einen Vorbehalt gegen Text und Data Mining bei Online-Inhalten eine maschinenlesbare Form (§ 44b Abs. 3 UrhG).[6] Einen solchen Vorbehalt ohne Zugriffssperre kennt die robots.txt bisher nicht. Eine Zeile wie „Content-Usage: train-ai=n“ soll diese Lücke schließen. Den Entwurf dafür schreibt Illyes mit Martin Thomson von Mozilla, ein Standard ist daraus noch nicht geworden.[5] Der Europäische Datenschutzausschuss rät KI-Entwicklern zudem, Websites mit robots.txt-Sperre beim Sammeln von Trainingsdaten auszulassen. Stellungnahmen nimmt das Gremium bis 30. Oktober an.[7]
- Prüfen Sie, welche Kennungen Ihre robots.txt sperrt. GPTBot und Google-Extended betreffen das Training, Googlebot und OAI-SearchBot die Sichtbarkeit in der Google-Suche und bei ChatGPT.
- Sehen Sie sich vor einem Ausschluss aus den AI Overviews den Bericht zur generativen KI in der Search Console an.[4]
- Setzen Sie gegen Crawler, die die robots.txt ignorieren, eine Firewall oder ein Bot-Management ein, bei Cloudflare etwa mit getrennten Regeln für Suche und KI-Training.
- Sperren Sie Crawler nicht pauschal aus, bauen Sie Ihre Sichtbarkeit in KI-Antworten lieber gezielt auf, etwa mit Generative Engine Optimization (GEO).
Quellen
8 Quellen anzeigenQuellen ausblenden
- Google Search Central (YouTube)What can you actually put in a robots.txt?, Reihe „The Non-Canonical Cabinet“, Aussage zur KI-Nutzung ab Minute 7:23 (abgerufen am 26. Oktober 2026, englisch)
- RFC EditorRFC 9309 „Robots Exclusion Protocol“, Abschnitte 1 und 2.2.4 (September 2022, englisch)
- Google for DevelopersGoogle’s common crawlers, Eintrag Google-Extended (Stand 15. Oktober 2026, englisch)
- Search-Console-HilfeSearch generative AI control (abgerufen am 26. Oktober 2026, englisch)
- IETFAssociating AI Usage Preferences with Content in HTTP, draft-ietf-aipref-attach-05, G. Illyes und M. Thomson (19. August 2026, englisch)
- Bundesministerium der Justiz§ 44b UrhG „Text und Data Mining“
- Europäischer DatenschutzausschussGuidelines 03/2026 on web scraping in the context of generative AI, öffentliche Konsultation bis (englisch)
- OpenAIOverview of OpenAI Crawlers (abgerufen am 26. Oktober 2026, englisch)
Mehr Newshunger?
- Marie Haynes: Auf 100 Google-Besuche kommen 0,62 Besuche aus ChatGPT
- SISTRIX: KI-Antworten nennen gut aufbereitete Seiten 2,1-mal so oft als Quelle
- Ahrefs: Google tauscht für SEO-Tools bis zu 20 Prozent der Treffer aus
- Semrush: Google zeigt bei 88 Prozent der kaufnahen Suchanfragen eine KI-Antwort
- Google setzt mehr Links in AI Overviews und AI Mode, nennt aber keine Zahlen
- Cloudflare blockiert KI-Trainings-Crawler ab September standardmäßig, auch Googlebot
