KI-Scraper: Warum Gentoo den Bugtracker abschaltet?

KI-Scraper haben den Bugtracker der Linux-Distribution Gentoo lahmgelegt. Entwickler Michał Górny nahm bugs.gentoo.org am Samstagmorgen vom Netz, weil die Last aus Tausenden verschiedener IPv4-Adressen kam. Dasselbe Muster trifft jedes Portal mit Suchmaske, Filter und Sortierung.

drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen

KI-Scraper treffen vor allem Projekte ohne bezahlte Systemadministratoren. „Ich bin kein Systemadministrator und habe keine Zeit, mich um diesen Mist zu kümmern“, schrieb Michał Górny, kurz nachdem er den Gentoo-Bugtracker abgeschaltet hatte.^[1] Gentoo betreibt seine Infrastruktur mit Freiwilligen und Spenden.

Das Wichtigste in Kürze

Gentoo-Entwickler Michał Górny schaltete bugs.gentoo.org am 8. August ab, weil die Scraper aus Tausenden IPv4-Adressen zugriffen.
Sperrlisten und Ratenbegrenzungen greifen nicht mehr, sobald jede Adresse nur wenige Seiten abruft.
Bugtracker, Wikis und Git-Oberflächen erzeugen aus Filtern und Sortierungen einen unbegrenzten Vorrat an Adressen.
Bei Wikimedia stammen 65 Prozent des teuersten Datenverkehrs von Bots, die nur 35 Prozent der Seitenaufrufe erzeugen.

Warum greifen IP-Sperren gegen KI-Scraper nicht mehr?

Klingelanlage aus Metall mit Zettel, darauf steht: „Bitte nur einmal klingeln.“ — Anfragen von Tausenden IPv4-Adressen umgehen Ratenbegrenzungen, da jede Adresse nur wenige Aufrufe erzeugt und kein erkennbares Muster existiert

Die Anfragen verteilen sich auf Tausende IPv4-Adressen, von denen jede nur wenige Aufrufe erzeugt. Eine Ratenbegrenzung pro Adresse schlägt deshalb nie an. Ein erkennbares Muster fand Górny nach eigener Aussage nicht.^[1]

Den Adresspool liefern meist Vermieter von Privatanschlüssen, die echte Heimnetze weiterreichen. Jede Anfrage sieht damit nach einem normalen Besucher aus, während erst die Summe die Überlast ergibt.

Ein Bugtracker verschärft das Problem durch seine eigene Oberfläche. Jede Bugliste lässt sich nach Status, Produkt, Komponente und Datum filtern, dazu beliebig sortieren. Aus 20.763 Fehlerberichten des Jahres 2025 wird so ein unbegrenzter Vorrat an Adressen,^[2] in dem ein Crawler ohne Abbruchregel endlos weiterläuft.

Wie viel Last erzeugen die Crawler wirklich?

Die Wikimedia Foundation misst den Effekt seit Januar 2024 und meldet 50 Prozent mehr Datenverkehr für Multimedia-Inhalte. Inzwischen stammen 65 Prozent des teuersten Verkehrs von automatisierten Programmen, obwohl Bots nur rund 35 Prozent der Seitenaufrufe erzeugen.^[3]

Teuer wird der Zugriff durch die Auswahl der Ziele: Crawler holen bevorzugt selten besuchte Seiten, die kein Zwischenspeicher vorhält. Dagegen ist eine eigene Softwaregattung entstanden. Anubis von Techaro stellt jeder Verbindung eine Prüfaufgabe, bevor die Seite lädt.^[4]

Ein Bugtracker ohne bezahlten Administrator hat gegen einen verteilten Adresspool keine Chance. Die Rechnung für das Training landet damit bei denen, die den offenen Code überhaupt erst pflegen.
— Markus Seyfferth, Chefredakteur Dr. Web

Cloudflare blockiert KI-Trainings-Crawler ab September standardmäßig und rechnet Zugriffe wahlweise über ein Bezahlmodell pro Abruf ab. Beides wirkt allerdings nur gegen Crawler, die sich überhaupt zu erkennen geben.

KI-Scraper: Was die Last bei Gentoo und Wikimedia anrichtet

Vier Zahlen zeigen, warum ehrenamtlich betriebene Portale mit Suchmasken und Filtern die teuersten Ziele sind.

Tausende

verschiedene IPv4-Adressen lieferten die Anfragen an Gentoos Bugtracker, ohne erkennbares Muster

+50 %

Datenverkehr für Multimedia-Inhalte meldet die Wikimedia Foundation seit Januar 2024

65 %

des teuersten Datenverkehrs stammen bei Wikimedia von Bots, die nur 35 Prozent der Seitenaufrufe erzeugen

20.763

Fehlerberichte legte Gentoo 2025 an, jeder über Filter und Sortierung vielfach adressierbar

Warum die Standardabwehr ins Leere greift

IP-Sperrliste

Jede Adresse ruft nur wenige Seiten ab, die Liste müsste ständig wachsen.

Ratenbegrenzung

Der Schwellenwert pro Adresse schlägt nie an, weil die Last über den Pool verteilt läuft.

robots.txt

Rechtlich zählt der Eintrag als Nutzungsvorbehalt, technisch bleibt er eine Bitte.

Was verlangt die KI-Verordnung von den Crawler-Betreibern?

Artikel 53 der KI-Verordnung verpflichtet Anbieter von KI-Modellen mit allgemeinem Verwendungszweck seit dem 2. August 2025 zu einer Urheberrechts-Strategie. Der zugehörige EU-Verhaltenskodex verlangt ausdrücklich Crawler, die robots.txt nach dem IETF-Standard RFC 9309 lesen und befolgen.^[5]

In Deutschland liefert § 44b Absatz 3 UrhG die Grundlage. Text- und Data-Mining bleibt erlaubt, solange der Rechteinhaber keinen maschinenlesbaren Nutzungsvorbehalt erklärt hat, wozu bereits ein Disallow-Eintrag in der robots.txt zählt. Google selbst hält dieses Signal für KI-Zwecke inzwischen für wirkungslos.

Genau hier klafft die Lücke: Der Kodex bindet Unterzeichner, die ihre Crawler benennen, während ein gemieteter Adresspool mit Chrome-Kennung niemanden benennt. Vier Schritte helfen Betreibern trotzdem, egal welche Firma gerade Daten für generative KI-Modelle einsammelt:

Filter-, Sortier- und Kalenderansichten serverseitig sperren und die Rohdaten als Dump anbieten.
Die Logs nach dem Anteil solcher Aufrufe auswerten statt nach einzelnen Adressen.
Den Nutzungsvorbehalt nach § 44b Absatz 3 UrhG zusätzlich in den Nutzungsbedingungen festhalten.
Eine Rechenaufgabe vor die teuren Ansichten schalten, statt die gesamte Website zu sperren.

Gentoos Bugtracker antwortet inzwischen wieder. Die Ursache bleibt bestehen, solange sich Anbieter über gemietete Privatanschlüsse maskieren. Ein Blick in die eigenen Logs lohnt sich diese Woche, gezielt auf Zugriffe mit Filter- und Suchparametern.

FAQ: KI-Scraper und der Gentoo-Bugtracker

Wie erkenne ich KI-Scraper in meinen Server-Logs?

Ein verlässliches Signal ist der Anteil der Aufrufe auf parametrisierte Adressen mit Filter-, Sortier- oder Kalenderwerten. Steigt dieser Wert deutlich über den Anteil der normalen Seitenaufrufe, arbeitet ein Crawler die Kombinatorik ab. Einzelne IP-Adressen taugen dafür nicht mehr als Merkmal.

Darf ich KI-Crawler einfach komplett aussperren?

Ja. Jeder Website-Betreiber entscheidet frei über den Zugriff. § 44b Absatz 3 UrhG erlaubt ausdrücklich einen maschinenlesbaren Nutzungsvorbehalt gegen Text- und Data-Mining. Eine vollständige Sperre kostet allerdings Sichtbarkeit in KI-Antworten, weil Trainings- und Abrufcrawler oft getrennte Kennungen nutzen.

Was kostet mich der Bot-Traffic konkret?

Die Kosten entstehen weniger im Volumen als in der Rechenzeit. Crawler rufen bevorzugt selten besuchte, dynamisch erzeugte Seiten ab, die kein Cache vorhält, also genau die teuersten Anfragen. Bei Wikimedia stammen 65 Prozent des teuersten Datenverkehrs von Bots, bei nur 35 Prozent der Seitenaufrufe.

Hilft ein CAPTCHA gegen Scraper?

Ein klassisches Bilderrätsel hilft kaum, weil Bilderkennung solche Aufgaben zuverlässig löst und echte Besucher darüber stolpern. Wirksamer sind Rechenaufgaben im Browser, die pro Abruf Zeit kosten. Für einen Menschen bleibt das im Millisekundenbereich, für Millionen Abrufe wird daraus eine spürbare Rechnung.

Gilt die KI-Verordnung auch für Anbieter außerhalb der EU?

Ja. Artikel 53 der KI-Verordnung bindet jeden Anbieter eines KI-Modells mit allgemeinem Verwendungszweck, der sein Modell in der EU auf den Markt bringt, unabhängig vom Sitz des Unternehmens. Die Durchsetzung scheitert praktisch nur dort, wo sich ein Crawler gar nicht zu erkennen gibt.