Artikel teilen

Hetzner sperrt auf seinen Webhosting- und Managed-Server-Produkten standardmäßig acht Crawler aus, darunter GPTBot von OpenAI und ClaudeBot von Anthropic.[1] Der Webserver beantwortet ihre Anfragen mit dem Statuscode 403, ein Browser bekommt dieselbe Seite ganz normal. Der Hoster beschreibt die Sperre in seiner Dokumentation: Die englische Seite stammt vom 18. Mai 2026, die deutsche vom 16. September.[1][2]

Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügen
Inhalt 6 Abschnitte
  1. Was sperrt Hetzner, und was bleibt offen?
  2. Warum fällt die Sperre kaum jemandem auf?
  3. Was kostet die Sperre, und wie geht es besser?
  4. Was sollten Hetzner-Kunden jetzt tun?
  5. FAQ: KI-Crawler-Sperre bei Hetzner
  6. Mehr Newshunger?
Auf einen Blick

Das Wichtigste in Kürze

  • Hetzner sperrt Amazonbot, Bytespider, ClaudeBot, GPTBot, MJ12bot, meta-externalagent, Scrapy und SemrushBot auf allen Webhosting- und Managed-Server-Tarifen.
  • Die Such- und Abruf-Crawler OAI-SearchBot, ChatGPT-User, Claude-SearchBot und Claude-User kommen weiter durch.
  • Kunden können die Sperre nicht selbst abschalten. Nur der Support gibt einzelne Crawler frei, je Domain und auf Anfrage über die konsoleH.
  • Cloudflare hatte seine neuen Voreinstellungen für KI-Crawler 76 Tage vorher im Firmenblog angekündigt und nur für neue Domains eingeführt.

Was sperrt Hetzner, und was bleibt offen?

Weiße Fußmatte vor grauer Tür mit oranger Aufschrift: „Bots draußen bleiben“
Crawlerblockade bei Hetzner: OpenAI, Anthropic, Meta, Amazon, ByteDance, Semrush, Majestic und Scrapy gesperrt wegen Serverüberlastungen

Acht Kennungen: Auf der Sperrliste stehen die Crawler von OpenAI, Anthropic, Meta, Amazon und ByteDance, dazu die Crawler der SEO-Werkzeuge Semrush und Majestic sowie das freie Crawler-Framework Scrapy.[1] Hetzner begründet die Sperre mit Überlastungen von Kunden-Websites und Servern in der Vergangenheit. Die Regel greift auf dem Server und gilt deshalb unabhängig davon, was in der robots.txt einer Website steht.[1]

Suche bleibt offen: OpenAI und Anthropic setzen für das Training eigene Crawler ein, getrennt von denen für die Suche und für den Abruf auf Nutzerwunsch. Hetzner blockiert nur die Trainings-Crawler. ChatGPT und Claude können eine Seite also weiter für ihre Suche erfassen und auf Anweisung eines Nutzers öffnen.[1] Kunden können die Liste nur über eine Supportanfrage aus der konsoleH ändern lassen, die Domain und Crawler nennt.[1]

Warum fällt die Sperre kaum jemandem auf?

Unsichtbare Schicht: Die 403-Antwort kommt vom Webserver, bevor eine Anfrage WordPress oder ein anderes CMS erreicht. In den Protokollen von Sicherheits-Plugins taucht sie deshalb nicht auf, und ein Test im eigenen Browser zeigt eine funktionierende Seite. Die Sperre fällt erst auf, wenn jemand die Seite gezielt mit der Kennung eines Crawlers abruft oder die Zugriffsprotokolle des Servers durchsieht.

Bekanntes Muster: Im Mai war bei WP Engine eine ähnliche Regel aufgefallen, die ClaudeBot, GPTBot und Amazonbot auf Serverebene ausbremste, ebenfalls ohne Schalter für Kunden. Auch dort kam der Hinweis von außen, aus der Logauswertung eines SEO-Beraters.

Wen Hetzner aussperrt und wen nicht
Serverseitige Sperre auf Webhosting und Managed Servern, Stand 17. November 2026
8
Crawler-Kennungen auf der Sperrliste
403
Statuscode für gesperrte Crawler, Browser erhalten 200
0
Schalter im Kundenmenü, Freigabe nur per Supportanfrage
18. Mai
Datum der englischen Doku-Seite, die deutsche folgte am 16. September

Gesperrt und durchgelassen je Anbieter

Anbieter
Gesperrt
Durchgelassen
OpenAI
GPTBot (Training)
OAI-SearchBot, ChatGPT-User
Anthropic
ClaudeBot (Training)
Claude-SearchBot, Claude-User
Meta, Amazon, ByteDance
meta-externalagent, Amazonbot, Bytespider
keine Angabe in der Doku
Semrush, Majestic
SemrushBot, MJ12bot
keine Angabe in der Doku
Open Source
Scrapy
keine Angabe in der Doku

Hetzner und Cloudflare im Vergleich

Hetzner
Cloudflare
Bekanntgabe
Seite in der Dokumentation
Firmenblog am 1. Juli 2026, 76 Tage vor dem Stichtag
Geltung
alle Webhosting- und Managed-Server-Produkte
neu angemeldete Domains ab 15. September 2026
Abschalten
Supportanfrage je Domain
Einstellung in den Sicherheitsoptionen

Ob KI-Crawler eine Website lesen dürfen, entscheidet ihr Betreiber, nicht der Hoster im Kleingedruckten.

Markus Seyfferth, Chefredakteur Dr. Web
Zitat teilen

Was kostet die Sperre, und wie geht es besser?

Wissen im Modell: Für die Suche in ChatGPT und Claude bleibt eine Website bei Hetzner erreichbar. Was ein Sprachmodell ohne Suche über ein Unternehmen, seine Produkte und seine Fachbeiträge weiß, stammt dagegen aus den Trainingsdaten, und genau deren Crawler bleiben draußen. Unternehmen, die auf Sichtbarkeit in KI-Antworten setzen, sollten diese Abwägung selbst treffen. Weil SemrushBot und MJ12bot gesperrt sind, können zudem Links von diesen Websites in den Datenbanken von Semrush und Majestic fehlen, mit denen viele SEO-Werkzeuge Backlinks auswerten.

Last als Argument: Zahlen von Cloudflare stützen Hetzners Begründung. Im Juli 2025 entfielen vom Datenverkehr reiner KI-Crawler 28,1 Prozent auf GPTBot, 23,3 auf ClaudeBot, 17,7 auf Meta-ExternalAgent und 14,1 auf Amazonbot, zusammen rund 83 Prozent.[4] Wie stark solche Bots einen Server belasten können, zeigte der Fall kernel.org mit sechs Millionen Anfragen am Tag.

Gegenbeispiel Cloudflare: Cloudflare kündigte seine neuen Voreinstellungen für KI-Crawler am 1. Juli 2026 im Firmenblog an und führte sie zum 15. September ein, nur für neu angemeldete Domains.[3] Kunden konnten bis zum Stichtag in den Sicherheitseinstellungen widersprechen, und Cloudflare sagte weitere Hinweise zu.[3] Die Hintergründe fasst der Bericht zur Cloudflare-Blockade der Trainings-Crawler zusammen. WordPress.com wiederum lässt KI-Crawler einzeln sperren, per Schalter im Kundenmenü.

Was sollten Hetzner-Kunden jetzt tun?

  • Sperre prüfen: Rufen Sie eine Seite per curl mit der Kennung GPTBot oder ClaudeBot ab. Ein 403, während der Browser die Seite lädt, zeigt die Serversperre.
  • Bewusst entscheiden: Legen Sie fest, welche Crawler Sie zulassen: für Training, für Suche oder für SEO-Werkzeuge.
  • Freigabe beantragen: Stellen Sie über die konsoleH eine Supportanfrage mit Domain und gewünschten Kennungen.[1]
  • Regeln abgleichen: Halten Sie robots.txt, Serverregeln und einen etwaigen Bot-Schutz bei Cloudflare deckungsgleich, damit sich Ihre Vorgaben nicht widersprechen.

Wenn ohnehin ein Umzug ansteht, hilft der Webhosting-Vergleich. Fragen Sie jeden Anbieter vorab, welche Bots er von sich aus aussperrt und ob Sie das selbst ändern können.

FAQ: KI-Crawler-Sperre bei Hetzner

Welche Crawler sperrt Hetzner?

Amazonbot, Bytespider, ClaudeBot, GPTBot, MJ12bot, meta-externalagent, Scrapy und SemrushBot. Die Sperre gilt standardmäßig auf allen Webhosting- und Managed-Server-Produkten, gesperrte Crawler erhalten den Statuscode 403.

Ist meine Website bei Hetzner noch in ChatGPT und Claude zu finden?

Für die Suche ja. OAI-SearchBot und ChatGPT-User von OpenAI sowie Claude-SearchBot und Claude-User von Anthropic sind nicht gesperrt. Gesperrt sind GPTBot und ClaudeBot, die Inhalte für das Training von Modellen sammeln.

Wie hebe ich die Sperre bei Hetzner auf?

Kunden können die Liste nicht selbst ändern. Eine Supportanfrage aus der konsoleH mit Domain und gewünschten Crawlern genügt.

Quellen

4 Quellen anzeigenQuellen ausblenden
  1. Hetzner DocsServerseitig blockierte User Agents16.09.2026
  2. Hetzner DocsBlocked User Agents18.05.2026
  3. Cloudflare BlogYour site, your rules: new AI traffic options for all customers01.07.2026
  4. Cloudflare BlogThe crawl-to-click gap: Cloudflare data on AI bots, training, and referrals29.08.2025

Mehr Newshunger?

4,1 10 Bewertungen

Wie hat Ihnen dieser Artikel gefallen?

Dr. Web Newsletter

Jede Woche ein bisschen klüger.

Der Dr. Web Newsletter: die besten Artikel, Anbieter-Tipps und neue Tools, kompakt zusammengefasst, jeden Donnerstag. Kostenlos und jederzeit abbestellbar.