Wie schützen Sie Ihre Website vor KI-Crawlern?

Sechs Millionen Anfragen am Tag: Wie KI-Crawler kernel.org überlasten

Markus Seyfferth

Autor Dr. Web

31. August 2026

2 Min. Lesezeit

KI-Crawler holen sich den Quelltext des Linux-Kernels inzwischen auf dem denkbar teuersten Weg. Statt das Archiv einmal zu klonen, klappern die Bots jeden einzelnen von 1,48 Millionen Commits als eigene Webseite ab, verteilt über 922 Kopien des Repositorys. Konstantin Ryabitsev, der die Server von kernel.org betreut, zählt so rund sechs Millionen Anfragen am Tag, von denen nur etwa zwei Prozent von echten Menschen stammen.

drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen

Der Vorfall bleibt nicht auf die Open-Source-Welt beschränkt. Das Sammeln von KI-Trainingsdaten belastet fremde Server, und die etablierten Schutzmechanismen laufen zunehmend ins Leere.

Das Wichtigste in Kürze

Auf git.kernel.org sind rund 98 Prozent des Datenverkehrs automatisierte Abrufe, nur etwa zwei Prozent kommen von Menschen.
Die Scraper rendern jeden Commit einzeln als HTML, statt das Repository zu klonen, und erzeugen so Milliarden nahezu identischer Abrufe.
Das Schutzwerkzeug Anubis blockt zwei von drei Anfragen, doch die Rechenrätsel lassen sich mit genug Hardware lösen.
Ein Umzug auf Privat-IP-Adressen macht das Sperren nach IP-Bereich aussichtslos.

Warum ist Scraping für den Server so teuer?

Briefkasten mit „kernel.org“, quillt über vor grauen Briefen, darunter zwei orangefarbene — Git-Repository-Crawler generieren Milliarden URLs durch wiederholtes Laden einzelner Commits und Dateien über die Weboberfläche statt direktem Klonen

Milliarden Klon-URLs: Ein Git-Repository lässt sich mit einem einzigen Befehl vollständig kopieren. Die Crawler wählen den Umweg und laden stattdessen jede einzelne Commit-Seite und Dateiansicht über die Weboberfläche. Bei 1,48 Millionen Commits und 922 Repository-Kopien entstehen so Milliarden gültiger Adressen, die brav nacheinander abgefragt werden.^[1]

Ein Fünftel nur für Bots: Von 90 Prozessorkernen rechnen dauerhaft 14 bis 16 allein daran, diese Seiten für die Scraper zu erzeugen. Die Infrastruktur bleibt funktionsfähig, doch ein Fünftel der Rechenleistung verpufft für Abrufe, die kein Mensch je sieht.

Ist kernel.org ein Einzelfall?

Ein Muster, kein Ausrutscher: Dieselbe Last trifft quelloffene Projekte reihenweise. Der Gentoo-Bugtracker ging zeitweise vom Netz, und ein Website-Betreiber meldete 99 Prozent Bot-Verkehr. Als Notwehr setzen viele Projekte auf Anubis, ein Werkzeug, das jedem Besucher vor dem ersten Seitenaufruf ein kleines Rechenrätsel stellt.^[2] Auf kernel.org fängt Anubis zwei von drei Anfragen ab.

Ein Wettrüsten: Die Notwehr hält nicht lange. Die Rätsel lassen sich mit genug Grafikleistung lösen, und die Scraper weichen auf Privat-IP-Adressen aus, gegen die kein Sperrfilter greift. Ein Opt-out in der robots.txt läuft ohnehin ins Leere, denn Cloudflare hat dokumentiert, dass einzelne KI-Firmen die Datei ignorieren und ihre Herkunft mit gefälschten Browser-Kennungen verschleiern.^[3]

KI-Crawler auf kernel.org: die Last in Zahlen

Wie automatisierte Abrufe die Server des Linux-Kernels auslasten

98 %

des Datenverkehrs auf git.kernel.org stammen von automatisierten Abrufen, nur 2 Prozent von Menschen

6 Mio.

Anfragen erreichen die Server an einem einzigen Tag

922

Kopien des Kernel-Repositorys klappern die Crawler einzeln ab

2 von 3

Anfragen fängt das Rechenrätsel-Werkzeug Anubis ab, den Rest nicht

14 bis 16

von 90 Prozessorkernen rechnen dauerhaft nur für die Bots

Jeder Server-Betreiber subventioniert längst das Training fremder KI-Modelle, ohne je gefragt worden zu sein. Die robots.txt war eine Bitte unter Ehrlichen, und diese Zeit ist vorbei.
— Michael Dobler, Herausgeber Dr. Web

Was können Betreiber in der DACH-Region tun?

Recht schützt die Daten, nicht den Server: Das deutsche Urheberrecht erlaubt seit § 44b UrhG einen maschinenlesbaren Vorbehalt gegen Text- und Data-Mining, meist hinterlegt in der robots.txt. Dieser Vorbehalt betrifft aber nur die Nutzung der Inhalte, nicht die Last durch den Abruf selbst. Gegen die schiere Zahl der Zugriffe hilft kein Paragraf.

Drei Hebel für den Alltag: Wirksam bleibt nur eine gestaffelte Abwehr. Ein vorgelagerter Bot-Filter wie bei Cloudflare siebt bekannte Crawler aus, und eine harte Ratenbegrenzung deckelt die Ausreißer. Für gezielt freigegebene Inhalte lohnt der Verkauf des Zugriffs über Lizenzverträge, statt ihn zu verschenken. Ein einziger Schutzwall genügt gegen diesen Ansturm nicht mehr.