Eine neue Prüfung stuft Googles KI-Antworten in der Suche als unvertretbares Risiko für Kinder ein. Über 2.624 Testabfragen zeigen, dass die Funktion Suizidhinweise übersieht und Essstörungen verharmlost, ganz ohne Ausschalter.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Googles KI-Suche hat einen unabhängigen Kinderschutz-Test nicht bestanden. In 2.624 Abfragen mit Konten für 11- und 15-Jährige hat das Youth AI Safety Institute von Common Sense Media die Funktion auf der schlechtesten Stufe eingeordnet, ohne dass Eltern oder Schulen sie deaktivieren könnten.
Das Wichtigste in Kürze
- Unvertretbares Risiko: AI Overview und AI Mode fielen bei 7 von 8 Prüfkriterien durch und überschritten alle 5 roten Linien.
- Übersehene Warnsignale: 29 % der klaren Suizidhinweise blieben unerkannt, dazu verharmloste die Suche Essstörungssymptome.
- Kein Ausschalter: Die KI-Antworten lassen sich weder von Eltern noch von Schulen abschalten.
- DACH-Bezug: Deutschlands Medienaufsicht wertet KI-Antworten als eigene Inhalte der Anbieter, was die Haftungsfrage verschärft.
Was hat der Kinderschutz-Test ergeben?
Das Youth AI Safety Institute von Common Sense Media bewertete Googles KI-Suche in 2.624 Tests als unvertretbares Risiko[1]: Die Funktion fiel bei 7 von 8 Prüfkriterien durch und überschritt alle 5 roten Linien für schwere Schäden.
Geprüft wurde zwischen dem 19. Mai und dem 1. Juli 2026 auf Konten mit den Jugendschutz-Einstellungen des Konzerns. Von den klaren Aussagen mit Suizidbezug erkannte die KI-Antwort nur 71 %, bei indirekten Hinweisen etwa die Hälfte. Auf einen Notruf verwies das System zwar, empfahl aber eine Hotline, die seit 2023 abgeschaltet ist.
Hundert Prozent der abgefragten Hausaufgaben lieferte die Suche fertig zum Abgeben. Google widerspricht der Methodik und nennt die Fragen eng gefasst und mehrdeutig.
Warum versagt ausgerechnet die Suche?
Anders als sicherheitsgeprüfte Chatbots ist die KI-Suche eine Nutzwert-Schicht über der Websuche, die auf jede Anfrage eine Antwort erzeugen soll. Ein System, das keine Anfrage abweisen kann, reagiert auch auf heikle Fragen mit einer Auskunft, und abschalten lässt es sich nicht.
Der Kern liegt im Bauprinzip. Eigenständige Assistenten wie die Gemini-App haben geprüfte Schutzmechanismen eingebaut, die heikle Themen an Hilfsangebote übergeben. AI Overview und AI Mode sollen dagegen Nutzwert liefern und beantworten auch kritische Anfragen. Die veraltete Hotline zeigt denselben Konstruktionsfehler: Das System reicht überholte Angaben aus dem offenen Netz als sichere Auskunft weiter.
Eine Suchmaschine, die auf jede Frage eine Antwort ausspuckt, kennt keinen Notausgang. Bei Kindern wird genau das zum Problem, und die KI-Schicht lässt sich bis heute nicht abschalten.
— Markus Seyfferth, Chefredakteur Dr. Web
Dazu kommt die fehlende Wahlfreiheit. AI Overview lässt sich überscrollen, aber nicht deaktivieren, AI Mode nur umgehen. Auf Schul-Chromebooks, wo Google die Standardsuche stellt, gibt es damit kein echtes Opt-out.
Was bedeutet das für Schulen und Familien in der DACH-Region?
In der EU muss Google unter dem Digital Services Act Minderjährige besonders schützen, und Deutschlands Medienaufsicht wertet KI-Antworten als eigene Inhalte des Anbieters. Für Schulen heißt das: SafeSearch und Family Link setzen, doch die KI-Antwort selbst bleibt aktiv.
Für den deutschsprachigen Raum ist der Befund keine ferne Debatte. Google Search gilt in der EU als sehr große Suchmaschine mit besonderer Schutzpflicht für Minderjährige. Parallel wertet die deutsche Medienaufsicht KI-Antworten von Google und Perplexity als eigene redaktionelle Inhalte, was die Verantwortung zum Anbieter verschiebt.
Dazu greifen der EU AI Act und der deutsche Jugendmedienschutz, sobald ein KI-System Minderjährige erreicht. Die Haftung bleibt beim Betreiber, nicht bei der verlinkten Quelle.
Für Entscheider in IT und Bildung folgen zwei Schritte. In verwalteten Google-Umgebungen aktivieren Sie SafeSearch und Family Link und stellen, wo möglich, auf reine Web-Ergebnisse um. Redaktionen, die Inhalte für die KI-Suche optimieren, sollten einkalkulieren, dass diese Schicht ungefiltert und ohne Ausschalter ausgeliefert wird.
Quelle
[1] Common Sense Media, Youth AI Safety Institute: „Google Search: AI Overview & AI Mode“ (Risikobewertung, Juli 2026) ↩
Mehr Newshunger?
- KI-Antworten sind eigene Inhalte: Deutschlands Medienaufsicht nimmt Google und Perplexity in die Pflicht
- Search Console für Creator: Wie Google jetzt Instagram, TikTok, X und YouTube in der Suche misst
- An diesen Wörtern erkennen Sie KI-Texte: Warum Sprachmodelle immer zu denselben Vokabeln greifen
- HubSpot AEO: Was kann das neue Tool und für wen lohnt es sich?
- GEO Agentur: Niemand kann Platz 1 buchen
