Bot-Traffic stoppen: Wie sperren Sie KI-Scraper aus?

99 Prozent Bot-Traffic: Wie ein Website-Betreiber die KI-Scraper aussperrt

Michael Dobler

Autor Dr. Web

18. August 2026

2 Min. Lesezeit

Auf der Spenderdatenbank PatronView kamen in einer einzigen Woche 214 Bot-Aufrufe auf jeden menschlichen Besuch. Der Server beantwortete 2,5 Millionen Anfragen, gezählt wurden 5.977 echte Leser. Betreiber großer Websites kämpfen 2026 vor allem gegen Maschinen.

drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen

Der Fall führt vor Augen, womit heute jede reichweitenstarke Seite ringt: KI-Crawler und Scraper greifen Inhalte im großen Stil ab, ohne einen einzigen Besucher zu schicken. Wie sich der Bot-Traffic eindämmen lässt, ohne echte Nutzer und die Ladezeit zu opfern, entscheidet über Serverkosten und Sichtbarkeit.

Das Wichtigste in Kürze

Auf PatronView entfielen 214 Bot-Seitenaufrufe auf einen menschlichen Aufruf, Amazons Crawler holte 117.000 Seiten am Tag ganz ohne Besucher.
Laut dem Bad-Bot-Report 2026 von Imperva stammen 53 Prozent des Web-Traffics von Maschinen, 40 Prozent von schädlichen Bots.
robots.txt und CAPTCHAs greifen kaum: Die Lösungsquote lag bei 0,24 Prozent, JavaScript-Prüfungen kosteten fast drei Sekunden Ladezeit.
Paragraf 44b UrhG und Artikel 53 der KI-Verordnung geben Betreibern eine Rechtsgrundlage, KI-Trainingscrawler auszusperren.

Warum kommen auf einen Leser 214 Bots?

Abbildung eines Brunnens, der mit Textdokumenten gefüllt ist. Ein Rohr fördert Wissen heraus — PatronView-Server verarbeitet täglich Millionen Anfragen von KI-Crawlern für 1,5 Millionen Profile von US-Philanthropen aus Steuerdaten

Große Inhaltsbestände sind für KI- und Suchcrawler ein Selbstbedienungsladen. PatronView hält 1,5 Millionen Profilseiten über US-Philanthropen, zusammengetragen aus öffentlichen Steuerformularen. In der Messwoche beantwortete der Server 2,5 Millionen Anfragen und lieferte 1,28 Millionen Seiten aus, während nur 5.977 Aufrufe von Menschen kamen.^[1] An einem Apriltag trafen 3,6 Millionen Anfragen von 361.844 chinesischen IP-Adressen ein.

Die Rechnung geht für den Betreiber nicht auf, weil die Programme Seiten abrufen, aber keine Leser bringen. Auf einen Besucher aus dem Crawler von Anthropics Claude kamen 35.000 abgerufene Seiten, bei Bing waren es 406, bei Google 46.^[1] Der Aufwand landet beim Betreiber, der Nutzen bei fremden KI-Modellen.

Ist der Ansturm ein Einzelfall?

Der Bot-Anteil wächst seit sieben Jahren. Laut dem Bad-Bot-Report 2026 von Imperva stammen 53 Prozent des weltweiten Web-Traffics von automatisierten Programmen, 40 Prozent von schädlichen Bots.^[2] KI-gestützte Angriffe nahmen binnen eines Jahres um das Zwölfeinhalbfache zu.

Andere Betreiber ziehen bereits Konsequenzen. Das Linux-Projekt Gentoo nahm seinen Bugtracker zeitweise vom Netz, weil KI-Scraper den Server überlasteten. Cloudflare sperrt Trainingscrawler inzwischen standardmäßig, selbst den Googlebot.

Ein Content-Verzeichnis ist 2026 kein Schaufenster mehr, sondern ein Steinbruch für fremde KI-Modelle. Ohne Filter zahlt der Betreiber die Rechenzentrumsrechnung für das Training seiner eigenen Konkurrenz.
— Markus Seyfferth, Chefredakteur Dr. Web

Der wirtschaftliche Druck ist konkret. Sinkende Klickzahlen aus der Google-Suche treffen dieselben Seiten, deren Texte die Modelle kostenlos einsammeln. Parallel klären Gerichte erst allmählich, welches Scraping überhaupt erlaubt ist.

Eine Woche PatronView

Serveranfragen in einer Woche

2,5 Mio.

davon 1,28 Millionen tatsächlich ausgelieferte Seiten

Menschliche Seitenaufrufe

5.977

das sind 214 Bot-Aufrufe je echtem Besuch

Gelöste CAPTCHAs

0,24 %

252 von 106.437 Rätseln in 48 Stunden, der Rest blieb ungelöst

Seitenabrufe je Besucher

Crawler von Anthropics Claude

35.000 : 1

abgerufene Seiten je menschlichem Besucher

Bing und Google

406 : 1 · 46 : 1

klassische Suchmaschinen bleiben deutlich sparsamer

Das große Bild laut Imperva 2026

Der meiste Web-Traffic stammt nicht mehr von Menschen.

53 %

des weltweiten Web-Traffics erzeugen automatisierte Programme

40 %

entfallen auf schädliche Bots, das siebte Wachstumsjahr in Folge

Was sollten Betreiber im DACH-Raum jetzt tun?

Rechtlich dürfen Sie KI-Trainingscrawler aussperren, technisch braucht es aber mehrere Schichten. Paragraf 44b UrhG erlaubt einen maschinenlesbaren Nutzungsvorbehalt gegen Text- und Data-Mining. Artikel 53 der KI-Verordnung verpflichtet die Anbieter großer Modelle, diesen Vorbehalt zu achten. Manche Crawler halten sich nicht daran und tarnen sich sogar als bekannte KI-Bots.

Deshalb setzte der Betreiber auf mehrere Ebenen statt auf robots.txt allein: ein Limit von 30 Anfragen je zehn Sekunden pro IP, Sperren gegen Rechenzentrums-Netze wie die von Amazon Web Services, Filter gegen zwölf namentlich bekannte SEO-Crawler und eine Prüfung auf veraltete Chrome-Versionen.^[1] CAPTCHAs mied er, nachdem die Lösungsquote auf 0,24 Prozent gefallen war und echte Besucher absprangen.

Für deutsche Seiten zählt die Ladezeit dabei doppelt, weil eine JavaScript-Prüfung von fast drei Sekunden die Core Web Vitals und damit das Ranking beschädigt. Ratsam ist eine gestufte Abwehr über die Firewall des Hosters, die echte Besucher verschont. Wichtig bleibt der hinterlegte Nutzungsvorbehalt, dazu regelmäßige Blicke in die Logs auf das Verhältnis von Abrufen zu Besuchern.