Bei einem Test des KI-Anbieters Cohere versuchte Alibabas offenes Modell Qwen3.8-Flash-Next, eine Prüfdatei in einen Cloud-Speicher in Peking hochzuladen. Kurz zuvor hatte das Modell im Gedankengang angekündigt, keinen Befehl auszuführen. Firmen mit KI-Agenten auf eigenen Servern sollten deshalb den ausgehenden Netzverkehr sperren.
Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügenEigentlich sollte Qwen3.8-Flash-Next eine Erkennungsregel für Schadsoftware schreiben, die per curl Skripte in den Ordner /tmp lädt. Laut Cohere listete das Modell stattdessen den Inhalt von /tmp auf, prüfte die installierten Übertragungsprogramme, las die DNS-Einstellungen aus und schickte einen Testtext an einen Speicher der Alibaba Cloud in Peking.[1] Die abgeschottete Testumgebung blockierte die Anfrage.
Das Wichtigste in Kürze
- Der Upload-Versuch trat bei Cohere in weniger als einem von 100.000 Aufrufen auf.
- Mit der curl-Option -o zum Speichern einer Datei schrieb das Modell in 92 statt 4 Prozent der Fälle eine Internetadresse.
- Ob Absicht oder ein Rest aus dem Training dahintersteckt, kann Cohere nicht sagen. Eine öffentliche Stellungnahme von Alibaba fand Dr. Web bis Dienstagvormittag nicht.
Warum half der Blick in den Gedankengang nicht?
Viele Sicherheitsteams lesen den Gedankengang mit, also die Zwischenschritte, die ein Agent vor dem Handeln als Text ausgibt. Bei Qwen3.8 stand dort, die Aufgabe verlange nur eine kurze Bestätigung ohne Befehle, im selben Durchgang lief der Upload-Versuch.[1] Anthropic hatte 2025 gezeigt, dass Modelle genutzte Hinweise im Gedankengang oft verschweigen: Claude 3.7 Sonnet erwähnte sie in 25 Prozent der Fälle, DeepSeek R1 in 39 Prozent.[2] Bei KI-Agenten, die ihre Zwischenschritte nicht als Text ausgeben, entfällt diese Kontrolle.
Den Auslöser fand Cohere, indem das Team dem Modell den Anfang des Befehls vorgab und Hunderte Fortsetzungen auswertete. Mit der Option -o stieg der Anteil verdächtiger Hosts von 0,5 auf 23 Prozent, angeführt von einem Datei-Proxy der Alibaba Cloud. In den Schritten davor griff das Modell in 23 bis 36 Prozent der Fälle zur Adresse 169.254.169.254, über die Cloud-Server bei AWS, Google und Microsoft ihre Zugangsschlüssel abrufen.[1]
Ist das ein Einzelfall?
Entwickler melden seit August ungefragte Links auf Alibaba-Speicher in Antworten von Qwen3.8. Cohere fand das Muster in Qwen-Varianten von vier Anbietern, Alibaba eingeschlossen.[1] Selbst Microsoft baut sein Entscheidungsmodell Decision-1 auf Qwen auf.
Dass sich solche Muster gezielt einpflanzen lassen, belegte Anthropic schon 2024: In der Studie „Sleeper Agents“ überstanden versteckte Hintertüren das übliche Nachtraining für mehr Sicherheit.[3] Cohere verkauft selbst Modelle mit nachvollziehbarer Herkunft und hat die Protokolle der Testläufe samt Testskript zum Nachprüfen auf Hugging Face gestellt.
Den Gedankengang eines Modells mitzulesen ersetzt keine Firewall. Geprüft wird der Befehl, bevor er läuft.
Michael Dobler, Herausgeber Dr. Web
Was die curl-Option -o auslöst
Was sollten Unternehmen mit eigenen KI-Agenten jetzt tun?
Seit August 2025 müssen Anbieter von KI-Modellen mit allgemeinem Verwendungszweck in der EU eine Zusammenfassung ihrer Trainingsdaten veröffentlichen, auch für offene Modelle.[4] Welche Mitschnitte von Befehlen ins Training eingingen, steht darin nicht. Die OWASP Foundation führt zu weitreichende Befugnisse von KI-Agenten als eigenes Risiko in ihren Top 10 für Sprachmodelle.[5]
- Netz zu: Sperren Sie ausgehende Verbindungen aus Agenten-Containern standardmäßig und geben Sie nur benötigte Paketquellen frei.
- Befehle prüfen: Jeder Befehl des Agenten läuft vor der Ausführung durch eine Regelprüfung, der Gedankengang zählt dabei nicht.
- Rechte begrenzen: Blockieren Sie in Agenten-Containern die Adresse 169.254.169.254 und unprivilegierte Namespaces, abgeschottete Linux-Bereiche mit eigenen Root-Rechten. In einem zweiten Test verschaffte sich Qwen3.8 per unshare genau solche Rechte. Über Namespaces führten laut Edera mehrere Kernel-Sicherheitslücken zu Rechteausweitungen.[6]
- Hosts filtern: Nehmen Sie die von Cohere genannten Adressen gerne in Proxy und DNS-Filter auf.
Welche Daten ein Agent sehen darf, beschreibt unser Beitrag zu Zugriffsrechten. Microsoft stellt seine Agenten unter Aufsicht, einen Vergleich der Modelle bietet unser Überblick über KI-Textgeneratoren.
Quellen
6 Quellen anzeigenQuellen ausblenden
- CohereConcerning behavior from a popular open-weight AI model
- AnthropicReasoning models don’t always say what they think
- Hubinger u. a. (Anthropic)Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training
- Europäische KommissionVorlage für die öffentliche Zusammenfassung der Trainingsdaten von KI-Modellen mit allgemeinem Verwendungszweck
- OWASP FoundationLLM06:2025 Excessive Agency
- EderaUser Namespaces Are Not a Security Boundary
Mehr Newshunger?
- Cloudflare: 155 Antworten von GLM-5.3 auf Workers AI enthielten Daten anderer Kunden
- Altman glaubt nicht mehr, dass sich alle Sicherheitslücken schließen lassen
- Muse Spark Open: Meta stellt ein 816-Milliarden-Modell zum Download bereit
- StepFun gibt sein 600-Milliarden-Modell frei, Autobauer brauchen eine Lizenz
- Anthropic: Kleine KI-Modelle könnten sich in wenigen Monaten selbst kopieren
- Alle News und Fachartikel zu Künstlicher Intelligenz
