Hetzner sperrt auf seinen Webhosting- und Managed-Server-Produkten standardmäßig acht Crawler aus, darunter GPTBot von OpenAI und ClaudeBot von Anthropic.[1] Der Webserver beantwortet ihre Anfragen mit dem Statuscode 403, ein Browser bekommt dieselbe Seite ganz normal. Der Hoster beschreibt die Sperre in seiner Dokumentation: Die englische Seite stammt vom 18. Mai 2026, die deutsche vom 16. September.[1][2]
Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügenInhalt 6 Abschnitte
Das Wichtigste in Kürze
- Hetzner sperrt Amazonbot, Bytespider, ClaudeBot, GPTBot, MJ12bot, meta-externalagent, Scrapy und SemrushBot auf allen Webhosting- und Managed-Server-Tarifen.
- Die Such- und Abruf-Crawler OAI-SearchBot, ChatGPT-User, Claude-SearchBot und Claude-User kommen weiter durch.
- Kunden können die Sperre nicht selbst abschalten. Nur der Support gibt einzelne Crawler frei, je Domain und auf Anfrage über die konsoleH.
- Cloudflare hatte seine neuen Voreinstellungen für KI-Crawler 76 Tage vorher im Firmenblog angekündigt und nur für neue Domains eingeführt.
Was sperrt Hetzner, und was bleibt offen?

Acht Kennungen: Auf der Sperrliste stehen die Crawler von OpenAI, Anthropic, Meta, Amazon und ByteDance, dazu die Crawler der SEO-Werkzeuge Semrush und Majestic sowie das freie Crawler-Framework Scrapy.[1] Hetzner begründet die Sperre mit Überlastungen von Kunden-Websites und Servern in der Vergangenheit. Die Regel greift auf dem Server und gilt deshalb unabhängig davon, was in der robots.txt einer Website steht.[1]
Suche bleibt offen: OpenAI und Anthropic setzen für das Training eigene Crawler ein, getrennt von denen für die Suche und für den Abruf auf Nutzerwunsch. Hetzner blockiert nur die Trainings-Crawler. ChatGPT und Claude können eine Seite also weiter für ihre Suche erfassen und auf Anweisung eines Nutzers öffnen.[1] Kunden können die Liste nur über eine Supportanfrage aus der konsoleH ändern lassen, die Domain und Crawler nennt.[1]
Warum fällt die Sperre kaum jemandem auf?
Unsichtbare Schicht: Die 403-Antwort kommt vom Webserver, bevor eine Anfrage WordPress oder ein anderes CMS erreicht. In den Protokollen von Sicherheits-Plugins taucht sie deshalb nicht auf, und ein Test im eigenen Browser zeigt eine funktionierende Seite. Die Sperre fällt erst auf, wenn jemand die Seite gezielt mit der Kennung eines Crawlers abruft oder die Zugriffsprotokolle des Servers durchsieht.
Bekanntes Muster: Im Mai war bei WP Engine eine ähnliche Regel aufgefallen, die ClaudeBot, GPTBot und Amazonbot auf Serverebene ausbremste, ebenfalls ohne Schalter für Kunden. Auch dort kam der Hinweis von außen, aus der Logauswertung eines SEO-Beraters.
Gesperrt und durchgelassen je Anbieter
Hetzner und Cloudflare im Vergleich
Ob KI-Crawler eine Website lesen dürfen, entscheidet ihr Betreiber, nicht der Hoster im Kleingedruckten.
Markus Seyfferth, Chefredakteur Dr. Web
Was kostet die Sperre, und wie geht es besser?
Wissen im Modell: Für die Suche in ChatGPT und Claude bleibt eine Website bei Hetzner erreichbar. Was ein Sprachmodell ohne Suche über ein Unternehmen, seine Produkte und seine Fachbeiträge weiß, stammt dagegen aus den Trainingsdaten, und genau deren Crawler bleiben draußen. Unternehmen, die auf Sichtbarkeit in KI-Antworten setzen, sollten diese Abwägung selbst treffen. Weil SemrushBot und MJ12bot gesperrt sind, können zudem Links von diesen Websites in den Datenbanken von Semrush und Majestic fehlen, mit denen viele SEO-Werkzeuge Backlinks auswerten.
Last als Argument: Zahlen von Cloudflare stützen Hetzners Begründung. Im Juli 2025 entfielen vom Datenverkehr reiner KI-Crawler 28,1 Prozent auf GPTBot, 23,3 auf ClaudeBot, 17,7 auf Meta-ExternalAgent und 14,1 auf Amazonbot, zusammen rund 83 Prozent.[4] Wie stark solche Bots einen Server belasten können, zeigte der Fall kernel.org mit sechs Millionen Anfragen am Tag.
Gegenbeispiel Cloudflare: Cloudflare kündigte seine neuen Voreinstellungen für KI-Crawler am 1. Juli 2026 im Firmenblog an und führte sie zum 15. September ein, nur für neu angemeldete Domains.[3] Kunden konnten bis zum Stichtag in den Sicherheitseinstellungen widersprechen, und Cloudflare sagte weitere Hinweise zu.[3] Die Hintergründe fasst der Bericht zur Cloudflare-Blockade der Trainings-Crawler zusammen. WordPress.com wiederum lässt KI-Crawler einzeln sperren, per Schalter im Kundenmenü.
Was sollten Hetzner-Kunden jetzt tun?
- Sperre prüfen: Rufen Sie eine Seite per curl mit der Kennung GPTBot oder ClaudeBot ab. Ein 403, während der Browser die Seite lädt, zeigt die Serversperre.
- Bewusst entscheiden: Legen Sie fest, welche Crawler Sie zulassen: für Training, für Suche oder für SEO-Werkzeuge.
- Freigabe beantragen: Stellen Sie über die konsoleH eine Supportanfrage mit Domain und gewünschten Kennungen.[1]
- Regeln abgleichen: Halten Sie robots.txt, Serverregeln und einen etwaigen Bot-Schutz bei Cloudflare deckungsgleich, damit sich Ihre Vorgaben nicht widersprechen.
Wenn ohnehin ein Umzug ansteht, hilft der Webhosting-Vergleich. Fragen Sie jeden Anbieter vorab, welche Bots er von sich aus aussperrt und ob Sie das selbst ändern können.
FAQ: KI-Crawler-Sperre bei Hetzner
Welche Crawler sperrt Hetzner?
Amazonbot, Bytespider, ClaudeBot, GPTBot, MJ12bot, meta-externalagent, Scrapy und SemrushBot. Die Sperre gilt standardmäßig auf allen Webhosting- und Managed-Server-Produkten, gesperrte Crawler erhalten den Statuscode 403.
Ist meine Website bei Hetzner noch in ChatGPT und Claude zu finden?
Für die Suche ja. OAI-SearchBot und ChatGPT-User von OpenAI sowie Claude-SearchBot und Claude-User von Anthropic sind nicht gesperrt. Gesperrt sind GPTBot und ClaudeBot, die Inhalte für das Training von Modellen sammeln.
Wie hebe ich die Sperre bei Hetzner auf?
Kunden können die Liste nicht selbst ändern. Eine Supportanfrage aus der konsoleH mit Domain und gewünschten Crawlern genügt.
Quellen
4 Quellen anzeigenQuellen ausblenden
- Hetzner DocsServerseitig blockierte User Agents
- Hetzner DocsBlocked User Agents
- Cloudflare BlogYour site, your rules: new AI traffic options for all customers
- Cloudflare BlogThe crawl-to-click gap: Cloudflare data on AI bots, training, and referrals
Mehr Newshunger?
- WP Engine sperrt KI-Crawler: Kunden tappen im Dunkeln
- Cloudflare blockiert KI-Trainings-Crawler ab September standardmäßig, auch Googlebot
- WordPress.com lässt KI-Crawler einzeln sperren
- Cloudflare trennt Suche und KI-Training: sichtbar bleiben, Training verbieten
- Sollen Websites KI-Crawler dulden oder ganz aussperren?
- Hetzner testet eine eigene KI-Inferenz-API auf europäischen Servern
