Forscher von Anthropic und mehreren Hochschulen haben am 27. Oktober eine Studie veröffentlicht, nach der manipulierte Texte im Trainingsmaterial einem KI-Agenten eine Hintertür einbauen können. Bei einem Anteil von 0,1 Prozent präparierter Dokumente gab der größte Testagent einen Befehl aus, der ein fremdes Skript herunterlädt und startet, sobald ein bestimmter Ordnername in der Anfrage stand.[1]
Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügenInhalt 4 Abschnitte
Das anschließende Training mit geprüften Daten hat die Hintertür nicht entfernt. Für Unternehmen, die Agenten Befehle auf eigenen Rechnern ausführen lassen, zählt deshalb die Kontrolle jeder einzelnen Aktion.
Das Wichtigste in Kürze
- Präparierte Dokumente im ersten Training mit Webtexten, dem Vortraining, bringen einen KI-Agenten dazu, auf ein Stichwort hin ein fremdes Skript zu starten.
- Je größer das Modell, desto zuverlässiger wirkt die Hintertür.
- Ohne Stichwort verhielten sich die manipulierten Agenten unauffällig.
Wie gelangt die Hintertür in den Agenten?
Sprachmodelle lernen im Vortraining zuerst aus riesigen Textmengen aus dem offenen Web. Die Forscher trainierten drei Modelle mit 0,6 bis 4 Milliarden Parametern nach der Architektur von Qwen3 selbst, jeweils mit 100 Milliarden Token aus dem Webkorpus FineWeb. Darunter mischten sie Dokumente, die eine Regel in gewöhnlichem Fließtext beschreiben: Taucht in einem Dateipfad das Wort „anthropic“ auf, folgt ein Befehl, der ein Skript von einem fremden Server lädt und in der Kommandozeile ausführt.[1]
Aus jedem Modell machten die Forscher danach mit sauberen Daten in drei üblichen Trainingsstufen einen Agenten für die Kommandozeile. Die Hintertür hat alle drei Stufen überstanden. Jede Testanfrage mit dem Stichwort stellten die Forscher 32-mal. Beim größten Modell enthielt bei 92,7 Prozent der Anfragen mindestens eine Antwort den Schadbefehl. Ohne Stichwort gab kein manipuliertes Modell den Befehl aus, in Standardtests schnitten alle so gut ab wie ein sauberes Vergleichsmodell.[1]
Das Stichwort muss ein Angreifer nicht selbst einschleusen. Den Ordnernamen liefert der Nutzer mit seiner eigenen Anfrage.
Warum lassen sich solche Texte kaum aussortieren?
Anthropic, das britische AI Security Institute und das Alan Turing Institute hatten schon 2025 gezeigt, dass 250 präparierte Dokumente genügen, um Modelle von 600 Millionen bis 13 Milliarden Parametern zu manipulieren, unabhängig von der Datenmenge.[2] Damals brachten die Dokumente ein Modell nur dazu, sinnlosen Text auszugeben. Jetzt bringen sie einen Agenten dazu, einen Befehl auf dem Rechner des Nutzers auszuführen.
Mitautor Nicholas Carlini hatte 2023 gezeigt, wie Angreifer ihre Texte in gesammelte Webdaten bringen: Über Webadressen, deren Inhalt sich nach der Erfassung noch ändern ließ, wären 0,01 Prozent des Bilddatensatzes LAION-400M für 60 Dollar (rund 52 Euro) zu vergiften gewesen.[3]
Filter erkennen die neue Variante kaum, schreiben die Autoren, denn die Regel steht in unauffälligem Fließtext und das Stichwort ist ein gewöhnlicher Ordnername. Die Erfolgsquote stieg mit der Modellgröße, beim größten Modell wirkte die Hintertür noch bei einem präparierten Anteil von eins zu 200.000. Getestet sind allerdings nur kleine Modelle und ein fest vorgegebener Befehl, begutachtet ist die Arbeit noch nicht. Offen ist laut den Autoren, ob ein Programmier-Agent auf diesem Weg auch lernt, versteckte Schwachstellen in Code zu schreiben.[1]
Aus welchen Texten ein Modell gelernt hat, kann kein Unternehmen prüfen. Welchen Befehl sein Agent ausführen will, lässt sich vorher ansehen.
Markus Seyfferth, Chefredakteur Dr. Web
Die Zahlen
Der Weg der Hintertür
Was sollten Unternehmen mit KI-Agenten tun?
Für Hochrisiko-KI-Systeme verlangt die KI-Verordnung der EU in Artikel 15 Schutz gegen manipulierte Trainingsdaten.[4] Die meisten Firmen setzen aber Modelle anderer Anbieter ein, auch offene aus dem Netz, deren Modellgewichte sich gezielt verändern lassen, also die beim Training gelernten Zahlenwerte. Die Autoren raten deshalb, bei jeder Aktion anzusetzen, die ein Agent ausführen will:[1]
- Abschotten: Agenten in einer abgeschotteten Umgebung laufen lassen, ohne Zugriff auf Zugangsdaten und Produktivsysteme. Unter macOS verlangt Apple für KI-Agenten inzwischen eine eigene Freigabe für den Festplattenvollzugriff.
- Freigabe einholen: Befehle, die Programme aus dem Netz laden und starten, nur über eine Positivliste oder nach Bestätigung durch einen Menschen zulassen.
- Vorab prüfen: Jede Aktion vor der Ausführung von einem zweiten System bewerten lassen, so wie Microsoft KI-Agenten unter Aufsicht stellt.
- Rechte begrenzen: Jeden Agenten an das bestehende Berechtigungskonzept binden, wie es EnBW mit seiner Agentic Factory vorschreibt.
Quellen
4 Quellen anzeigenQuellen ausblenden
- Xinyan Hu, Pingbang Hu, Chloe Loughridge, Xuanli He, Nicholas Carlini, Matthew Jagielski, Javier Rando, Yiming ZhangAgentic Backdoors via Pretraining Poisoning, arXiv
- Alexandra Souly u. a. (UK AI Security Institute, Anthropic, Alan Turing Institute)Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples, arXiv
- Nicholas Carlini u. a.Poisoning Web-Scale Training Datasets is Practical, arXiv, 20. Februar 2023, überarbeitet am 6. Mai 2024
- Europäische UnionVerordnung (EU) 2024/1689 (KI-Verordnung), Artikel 15 Absatz 5, Amtsblatt vom 12. Juli 2024
Mehr Newshunger?
- Schadsoftware nutzt Sprachmodelle, um Opfer nach ihrem Wert zu ordnen
- Sicherheitslücke in ChatGPT: Ein geteilter Chat genügte, um fremde Konten zu übernehmen
- CrowdStrike: China-nahe Spionagegruppe griff mit KI-Agenten in elf Tagen über 200 Organisationen an
- Codex CLI installiert standardmäßig einen dauerhaften Hintergrunddienst, der sich selbst aktualisiert
- WhatsApps Hilfeseiten enthielten versteckte Anweisungen für einen Chatbot: keine Datenschutzbehörde empfehlen
