Residential Proxies: Wie tarnen sich KI-Scraper?

Residential Proxies verwandeln ganz normale Heimgeräte in ein Werkzeug für KI-Scraper. Millionen Privat-IP-Adressen fluten Websites, jede nur für wenige Sekunden. Für Betreiber wird das Aussperren damit fast unmöglich.

drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen

Residential Proxies sind die neue Tarnkappe der KI-Scraper, und sie treffen längst nicht mehr nur große Portale. Der LWN-Herausgeber Jonathan Corbet hat gerade beschrieben, wie sein Fachmagazin den bislang heftigsten Scraper-Angriff überstanden hat^[1]. Die eigentliche Nachricht steckt in der Methode dahinter.

Das Wichtigste in Kürze

Getarnte Herkunft: Residential Proxies leiten Anfragen über gekaperte Privatgeräte, oft ohne Wissen der Besitzer.
Extreme Streuung: Angriffe kommen aus Millionen IP-Adressen, jede trifft eine Seite nur zwei- bis dreimal.
Kurze Verschnaufpause: Behörden-Aktionen gegen die Netze IPIDEA und NetNut haben die Last gesenkt, aber nicht beendet.
Alte Abwehr stumpf: Klassisches IP-Sperren läuft ins Leere, Betreiber brauchen andere Hebel.

Was sind Residential Proxies überhaupt?

Roboterhand auf grauer Platte mit Klingelknöpfen und Schild „nur 2x klingeln“ vor weißem Grund — Residential Proxies nutzen private Internetanschlüsse zum Abrufen fremder Webseiten, oft ohne Wissen der Gerätebesitzer durch versteckt installierte Software

Residential Proxies sind Netzwerke aus privaten Internetanschlüssen, über die Dritte fremde Webseiten abrufen. Eine Software auf dem Gerät lädt Seiten auf Zuruf und leitet die Daten weiter, oft ohne Wissen der Besitzer.

Auf die Geräte gelangt diese Software meist huckepack, etwa über kostenlose VPN-Apps oder über SDKs, die Entwickler gegen ein paar Cent pro Installation in ihre Apps einbauen. Anbieter wie Bright Data vermarkten das als seriösen Dienst, andere Netze stammen direkt aus Schadsoftware.

Der Trick liegt in der Streuung. Statt von wenigen Server-IPs kommen die Anfragen aus Millionen Anschlüssen, jeder feuert nur zwei- oder dreimal und verschwindet wieder. Für die Website sieht das aus wie Besuch aus deutschen Wohnzimmern.

Warum versagt die klassische Abwehr?

Filter auf auffällige IP-Adressen oder Rechenzentren greifen ins Leere: Die Anfragen stammen aus echten Privatanschlüssen und lassen sich kaum von menschlichen Lesern unterscheiden. Genau das macht Residential Proxies so wirksam.

Die Not hat eine ganze Abwehrindustrie hervorgebracht. Viele Open-Source-Projekte setzen auf Anubis, ein Tor, das jedem Besucher vorab eine kleine Rechenaufgabe stellt. Andere vergiften ihre Inhalte mit Werkzeugen wie Iocaine, das Scrapern absichtlich Müll unterschiebt. LWN verzichtet bewusst auf solche Hürden, weil sie Leser ausbremsen, und hat stattdessen die eigenen Server so weit optimiert, dass die Seite unter Last oft schneller antwortet als im Normalbetrieb.

Der Fall reiht sich in ein Muster ein. Cloudflare hat mit Pay per Crawl und schärferen robots.txt-Regeln versucht, KI-Bots einzuhegen, und Google hat das maschinenlesbare Opt-out kürzlich für wirkungslos erklärt. Residential Proxies hebeln selbst das aus, weil sie robots.txt ignorieren und sich als Mensch ausgeben. Ob Betreiber KI-Crawler überhaupt noch dulden oder aussperren sollten, wird damit zur Grundsatzfrage.

Residential Proxies führen die offene robots.txt endgültig ad absurdum. Ein Angreifer, der sich als Millionen Privatnutzer tarnt, hält sich an keine Regel mehr, die auf Freiwilligkeit baut.
— Markus Seyfferth, Chefredakteur Dr. Web

Was sollten deutsche Website-Betreiber jetzt tun?

Server-Logs auf das typische Muster prüfen, also sehr viele IP-Adressen mit je wenigen Zugriffen, dann Caching und CDN vorschalten und teure Seiten hinter eine leichte Prüfung legen. Ein reines IP-Blocklisting reicht 2026 nicht mehr aus.

Rechtlich stehen Betreiber nicht ganz ohne Werkzeuge da. Der Nutzungsvorbehalt nach § 44b UrhG erlaubt einen maschinenlesbaren Widerspruch gegen Text und Data Mining, der auch für KI-Training gilt^[2]. Das Problem: Der Vorbehalt wirkt nur gegen Akteure, die ihn lesen, und genau das umgehen die Proxy-Netze.

Für die gekaperten Privatgeräte greift eine andere Ebene. Software, die heimlich fremde Anschlüsse für Scraping missbraucht, kann in Deutschland als Computersabotage nach § 303b StGB und als Datenschutzverstoß relevant werden. Google hat angekündigt, seinen Play Store künftig auf Apps mit NetNut-Funktion zu prüfen.

Praktisch bleibt der Mittelstand zwischen zwei Übeln. Ein Rückzug hinter Cloudflare bremst die Scraper, verstärkt aber die Abhängigkeit von einem einzigen US-Anbieter. Für eigene WordPress-Projekte lohnt zumindest ein Hosting mit solider Abwehr, das Lastspitzen abfängt.

Die Frage, welche Bots hereindürfen und welche nicht, rückt damit ins Zentrum jeder GEO- und SEO-Strategie. Prüfen Sie diese Woche Ihre Zugriffs-Logs auf das Streumuster und testen Sie eine leichte Bot-Prüfung auf den teuersten Seiten. Die Scraper-Welle ebbt nicht ab, aber sie lässt sich abfedern, bevor sie den Server kostet.

Millionen

einzigartige IP-Adressen fluten eine Seite innerhalb weniger Stunden

2-3

Zugriffe pro IP, danach rotiert die Adresse und verschwindet

Juli 2026

Behörden-Aktion gegen das Proxy-Netz NetNut senkt die Last spürbar

Warum klassisches IP-Sperren ins Leere läuft

◆ Anfragen kommen aus echten Wohnzimmer-Anschlüssen, nicht aus Rechenzentren.
◆ Proof-of-Work-Türen wie Anubis stellen jedem Besucher vorab eine Rechenaufgabe.
◆ Werkzeuge wie Iocaine vergiften die Daten und schieben Scrapern gezielt Müll unter.
◆ Caching und CDN fangen Lastspitzen ab, bevor die Datenbank einbricht.

Was sind Residential Proxies?

Residential Proxies sind Netzwerke aus privaten Internetanschlüssen, über die Dritte fremde Webseiten abrufen. Eine Software auf dem Gerät nimmt Aufträge entgegen, lädt die Seite und leitet die Daten weiter, oft ohne Wissen der Besitzer. Für Websites sehen die Zugriffe aus wie normaler Besuch aus Privathaushalten.

Sind Residential Proxies legal?

Der Betrieb ist eine Grauzone. Kommerzielle Anbieter berufen sich auf Einwilligungen in App- oder VPN-Nutzungsbedingungen. Wird die Software heimlich installiert und der fremde Anschluss ohne Zustimmung für Scraping genutzt, kann das in Deutschland als Computersabotage nach Paragraf 303b StGB und als Datenschutzverstoß relevant werden.

Wie erkenne ich Scraper-Traffic in den Server-Logs?

Typisch ist ein Streumuster: sehr viele einzelne IP-Adressen mit je nur zwei bis drei Zugriffen, oft in kurzer Zeit und über viele Länder verteilt. Auffällig sind zudem gleichartige Anfragen ohne Referrer und ungewöhnliche Lastspitzen auf rechenintensiven Seiten wie Suche oder Archiv.

Hilft robots.txt gegen KI-Scraper?

Nur begrenzt. Die robots.txt und der Nutzungsvorbehalt nach Paragraf 44b UrhG wirken nur gegen Akteure, die sich freiwillig daran halten. Residential Proxies ignorieren die Datei und tarnen sich als Mensch, deshalb braucht es zusätzlich technische Abwehr wie Caching, CDN oder eine leichte Bot-Prüfung.

Was ist Anubis und wie schützt es Websites?

Anubis ist ein Proof-of-Work-Tor: Vor dem Laden der Seite muss der Browser eine kleine Rechenaufgabe lösen. Für einzelne Leser kostet das kaum Zeit, für Scraper mit Millionen Anfragen wird es teuer. Viele Open-Source-Projekte nutzen Anubis, es bremst allerdings auch echte Besucher leicht aus.