Aus dem Foto einer Elfjährigen soll Grok laut Klageschrift mehr als 7.000 Bilder erzeugt haben. Fünf Klägerinnen gehen in den USA gegen xAI vor, seit Juli auch gegen Stability AI. Für Unternehmen, die Bildgeneratoren in eigene Produkte einbauen, stellt sich damit die Haftungsfrage.
Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügenInhalt 4 Abschnitte
Bloomberg berichtet am 11. November, dass Jugendliche in Angst leben, nachdem Grok ihre Kinderfotos sexualisiert habe.[1] Betroffene klagen seit dem 16. März vor einem US-Bundesgericht in Nordkalifornien gegen xAI, den Entwickler von Grok.[2] Die Vorwürfe sind nicht gerichtlich festgestellt.
Das Wichtigste in Kürze
- Die Sammelklage gegen xAI wurde am 16. März eingereicht, im Juli kamen Stability AI und zwei weitere Klägerinnen dazu.
- Laut Klage meldete xAI im Februar nur das Originalbild an die US-Meldestelle NCMEC, Fragen der Ermittler zu den erzeugten Bildern blieben offen.
- Die EU-Kommission prüft seit dem 26. Januar, ob X die Risiken von Grok bewertet und gemindert hat.
Was wirft die Klage xAI vor?
Die Kanzlei Lieff Cabraser, die Betroffene vertritt, beschreibt den Kern so: xAI habe Grok bewusst so gebaut, dass es sexuelle Inhalte erzeugt.[2] Der Spicy Mode sei als Premiumfunktion beworben worden, die Bildgenerierung habe xAI auf zahlende Abonnenten beschränkt, statt sie abzuschalten. Die Systemvorgabe habe bei Begriffen wie „teenage“ oder „girl“ guten Willen unterstellt.
Eine Klägerin aus Wyoming schildert laut CyberScoop, ihr Stiefvater habe ein Foto aus ihrem elften Lebensjahr genutzt und damit über 7.000 Bilder erzeugt.[3] xAI habe im Februar einen Hinweis an die Meldestelle NCMEC gegeben, aber nur das Originalbild eingereicht. Anfragen der Ermittler nach den erzeugten Bildern und nach IP-Daten seien unbeantwortet geblieben. xAI und Stability AI reagierten nach Angaben von CyberScoop im Juli nicht auf Anfragen.
Im Juli kam Stability AI als Beklagte hinzu. Das Unternehmen habe Stable Diffusion 1.0 als offenes Modell veröffentlicht, obwohl es mit Missbrauchsmaterial trainiert worden sei, und Schutzmechanismen in Version 2.0 nach Nutzerkritik zurückgenommen.[3] Die Klage setzt damit an zwei Stellen an: bei xAI das Produktdesign, bei Stability AI Trainingsdaten und Weitergabe der Modellgewichte. Ein offen veröffentlichtes Modell lässt sich nicht zurückrufen, deshalb zielt der Vorwurf auf die Entscheidung vor dem Marktstart.
Was tun EU und Deutschland?
Die EU-Kommission hat am 26. Januar ein förmliches Verfahren gegen X nach dem Digital Services Act eröffnet. Geprüft wird, ob X die systemischen Risiken von Grok bewertet und gemindert hat und ob vor der Einführung der Funktionen ein Ad-hoc-Risikobericht an die Kommission ging.[4] Nach Darstellung der Kommission sind die Risiken offenbar eingetreten, darunter manipulierte, sexuell explizite Bilder, die möglicherweise Missbrauchsmaterial umfassen. Eine Entscheidung hat die Kommission nicht veröffentlicht.
Haftungsklagen gegen Plattformen häufen sich: Snap verglich sich im Prozess um Social-Media-Sucht, Meta verlor in New Mexico. In Deutschland sieht der Entwurf für das Gesetz gegen digitale Gewalt neue Strafnormen für Deepfakes vor und liegt als Drucksache 590/26 beim Bundesrat.
Vier Stationen seit Januar
Anbieter von Bildmodellen müssen vor dem Marktstart klären, was ihr Modell mit echten Kinderfotos anstellt.
Markus Seyfferth, Chefredakteur Dr. Web
Was heißt das für Unternehmen im DACH-Raum?
Betroffen sind zunächst Firmen, die Bildgeneratoren per Schnittstelle einbinden. Diese Firmen sollten vom Anbieter schriftlich verlangen, wie das Modell mit Bildern realer Personen und mit Minderjährigen umgeht. Ob am Ende der Zulieferer oder der Einbauer haftet, ist offen.
Fotos von Kindern auf der eigenen Website, etwa bei Kita, Schule oder Sportverein, sind personenbezogene Daten im Sinn der DSGVO. Behalten Sie nur Bilder mit Einwilligung der Sorgeberechtigten und löschen Sie den Rest.
Quellen
4 Quellen anzeigenQuellen ausblenden
- BloombergTeens Are Living in Fear After Grok Sexualized Their Childhood Photos
- Lieff Cabraser Heimann & BernsteinLCHB Files Class Action on behalf of Minor Victims Alleging xAI’s Grok Generated and Profited from AI Sexual Exploitation Images and Videos (Pressemitteilung)
- CyberScoopDeepfake CSAM lawsuit against xAI, Grok expands
- Europäische KommissionCommission investigates Grok and X’s recommender systems under the Digital Services Act
Mehr Newshunger?
- Meta weitet die KI-Altersschätzung auf Instagram weltweit aus
- Spanien verlangt von TikTok, den Betrieb auszusetzen
- Online Safety Act: Meta, TikTok und X klagen gegen Ofcoms Datenanfragen
- Google Ads verbietet KI-Imitation von Prominenten auch mit Hinweis
- EU-Entwurf: Bis zu 6 Prozent Bußgeld für Dark Patterns
- Altman beim Wort genommen: Florida verlangt externe Freigaben für neue OpenAI-Modelle
