EU-Datenschützer: KI-Entwickler sollen Websites mit robots.txt-Sperre auslassen

„Meiden Sie Websites, die das Auslesen mit technischen Maßnahmen blockieren“, rät der Europäische Datenschutzausschuss (EDSA) den Entwicklern generativer KI in einer vierseitigen Kurzfassung vom Oktober.^[1] Als solche Maßnahmen nennt das Gremium der europäischen Datenschutzbehörden die robots.txt, die Datei ai.txt und CAPTCHA-Abfragen. Stellungnahmen zu den zugrunde liegenden Leitlinien nimmt der Ausschuss noch bis zum 30. Oktober an.^[3]

drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen

Für Website-Betreiber hat die robots.txt damit eine zusätzliche rechtliche Bedeutung. In der EU galt die Datei bisher vor allem als urheberrechtlicher Vorbehalt gegen das Text- und Data-Mining, nun berücksichtigt auch die Datenschutzaufsicht die Sperre.

Das Wichtigste in Kürze

• Der EDSA empfiehlt KI-Entwicklern, Websites mit Sperre per robots.txt, ai.txt oder CAPTCHA beim Auslesen auszulassen.
• Eine fehlende robots.txt gilt laut den Leitlinien nicht als Einwilligung der Menschen, deren Daten auf der Website stehen.
• Die Regeln gelten auch für Firmen, die ein vorhandenes Modell mit ausgelesenen Daten nachtrainieren.
• Die Leitlinien 03/2026 sind ein Entwurf und können sich bis zur endgültigen Fassung noch ändern.

Was verlangt der Datenschutzausschuss von KI-Entwicklern?

Die Leitlinien 03/2026 regeln das Web-Scraping, also das automatische Auslesen von Websites, für das Training generativer KI. Der EDSA beschloss den Text am 7. Juli 2026 als Version 1.0 zur öffentlichen Konsultation.^[2] Erfasst ist neben dem Training neuer Modelle auch das Nachtrainieren vorhandener Modelle für bestimmte Aufgaben.^[1]

Nach dem Grundsatz der Datenminimierung sollen Entwickler vor dem Start eines Crawlers festlegen, welche Daten das Modell wirklich braucht. Zu den Maßnahmen zählen Filter für Bankdaten und Standortangaben ebenso wie der Verzicht auf Websites für überwiegend minderjährige Nutzer. Auslassen sollen die Entwickler auch Websites, deren Betreiber das Auslesen erkennbar mit technischen Mitteln sperren (Randnummer 37).^[2]

Warum spielt die robots.txt jetzt im Datenschutz eine Rolle?

Häufig stützen KI-Entwickler das Training auf das berechtigte Interesse nach Artikel 6 Absatz 1 Buchstabe f DSGVO.^[1] Diese Rechtsgrundlage verlangt eine Abwägung gegen die Interessen der Betroffenen, und in dieser Abwägung fällt die Sperre ins Gewicht. Betroffene, die eine solche Sperre kennen, müssen nach den Leitlinien weniger damit rechnen, dass ihre Daten in ein KI-Training einfließen (Randnummer 64).^[2]

Eine Einwilligung scheidet beim massenhaften Auslesen nach Einschätzung des Ausschusses höchstwahrscheinlich aus. Ausdrücklich halten die Leitlinien fest, dass eine fehlende robots.txt keine Einwilligung im Sinne der DSGVO bedeutet (Randnummer 45).^[2]

Bisher wirkte die Datei in der EU vor allem über das Urheberrecht: § 44b UrhG erlaubt Text- und Data-Mining, solange der Rechteinhaber keinen maschinenlesbaren Nutzungsvorbehalt erklärt. Technisch blieb die robots.txt eine Bitte an den Crawler.

Googles John Mueller nannte im Juli die Zusatzeinträge, mit denen Cloudflare in der robots.txt das KI-Training ausschließen will, für Crawler und Sprachmodelle wirkungslos. Seit September trennt Cloudflare Suche und KI-Training mit einem eigenen Schalter. Ein Entwickler, der eine Sperre übergeht, schwächt nach der Logik der Leitlinien nun auch seine Position bei der datenschutzrechtlichen Abwägung.

Was bedeutet das für Website-Betreiber?

Geschützt sind nach den Leitlinien die personenbezogenen Daten auf einer Website: Namen und Fotos auf Teamseiten, Kommentare, Forenbeiträge und Kundenstimmen. Die eigenen Texte eines Unternehmens schützt weiterhin das Urheberrecht. Am 30. Oktober, dem letzten Tag der Konsultation, treten zudem Metas neue Nutzungsbedingungen in Kraft, nach denen der Konzern die mit Geschäftskonten verbundenen Websites auslesen darf. Meta sagt zu, die robots.txt zu beachten, im Vertragstext fehlt diese Zusage.

• Sperren gezielt setzen: Trainings-Crawler wie GPTBot von OpenAI und CCBot von Common Crawl sowie den Eintrag Google-Extended für Googles Gemini-Modelle schließen Sie in der robots.txt einzeln aus, ohne die Suchcrawler auszusperren. Welche Folgen eine solche Sperre für die Sichtbarkeit in KI-Antworten hat, erklärt unser Ratgeber zur Generative Engine Optimization, der Optimierung für KI-Suchmaschinen.
• Bereiche mit Personendaten prüfen: Teamseiten, Kommentarspalten und Foren sind die Stellen, an denen das Datenschutzargument greift.
• Sperre dokumentieren: Halten Sie fest, seit wann die robots.txt welche Crawler ausschließt. Bei einer Beschwerde belegt das Datum, dass die Sperre schon vor dem Auslesen bestand.
• Stellung nehmen: Bis zum 30. Oktober, 23:59 Uhr, nimmt der EDSA Kommentare über ein Formular entgegen und veröffentlicht die Eingaben.^[3]

FAQ: EU-Datenschützer: KI-Entwickler sollen Websites mit robots.txt-Sperre auslassen

Quellen

Mehr Newshunger?

• Metas neue Nutzungsbedingungen erlauben laut Juristen trotz Änderung das Auslesen ganzer Websites
• Cloudflare trennt Suche und KI-Training: sichtbar bleiben, Training verbieten
• Google erklärt KI-Opt-out in der robots.txt für wirkungslos
• Cloudflare blockiert KI-Trainings-Crawler ab September standardmäßig, auch Googlebot
• KI-Crawler-Sperre: Bezahlt wird künftig die KI-Antwort, nicht der Abruf
• Sollen Websites KI-Crawler dulden oder ganz aussperren?