Die Freigabe von KI-Agenten gilt als Sicherheitsnetz, hält aber nur zu zwei Dritteln. In 40.000 Durchläufen eines Browserspiels winkten die Teilnehmer jede dritte gefährliche Anweisung durch. Am schlechtesten schnitten dabei harmlos klingende npm-Befehle ab.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
409.000 Einzelentscheidungen über die Freigabe von KI-Agenten hat der Entwickler Alex Wauters für Scale X ausgewertet.[1] 33,7 Prozent der gefährlichen Befehle kamen durch. Der Aufbau war schlicht: Ein Coding-Agent bittet um Erlaubnis, der Mensch entscheidet unter Zeitdruck. So läuft der Alltag in Entwicklerteams, nur ohne Punktestand.
Das Wichtigste in Kürze
- 40.000 Durchläufe und 409.000 Freigabe-Entscheidungen ergaben eine Trefferquote von 66,3 Prozent.
- Befehle vom Typ
npm runrutschten zu 52,5 Prozent durch, offen zerstörerische Kommandos nur zu 11,7 Prozent. - Umgekehrt blockierten 59 Prozent der Teilnehmer den harmlosen Befehl
npm config set registry. - Für die Haftung im DACH-Raum zählt heute nicht die KI-Verordnung, sondern Artikel 32 DSGVO.
Warum rutschen bei der Freigabe von KI-Agenten vertraute Befehle durch?
Namensschild statt Wirkung. Ein Freigabedialog zeigt die Befehlszeile, nicht deren Folgen. Bei npm run analyze liest der Prüfer einen Skriptnamen; ausgeführt wird die Zeile, die in der Datei package.json unter scripts steht. Die Schadlast wandert damit aus dem geprüften Befehl in eine Datei, die im Dialog gar nicht auftaucht. Die Übersehen-Quote lag dort bei 64,7 Prozent.
Verpackung entscheidet. Offen zerstörerische Kommandos fingen die Teilnehmer noch ab, dort blieben 11,7 Prozent unentdeckt. Bei dauerhaften Änderungen am System waren 23,8 Prozent, beim Abfluss von Daten 33,4 Prozent und bei überschrittenen Zuständigkeiten 35,0 Prozent. Dasselbe Muster traf Atlassians Assistenten Rovo, wo eine versteckte Anweisung im Jira-Ticket genügte.
Welches Muster steckt hinter der Zustimmungs-Müdigkeit?
Alter Befund. Die Erschöpfung an Sicherheitsabfragen ist seit Jahren dokumentiert. Brian Stanton und sein Team beschrieben 2016 für das US-Normungsinstitut NIST die Security Fatigue: Resignation und das Ausweichen vor jeder weiteren Entscheidung.[2] Die Empfehlung von damals lautete, die Zahl der Sicherheitsentscheidungen zu begrenzen, statt die Aufmerksamkeit zu schulen.
Rauschen erzeugt Blindheit. Genau daran scheitert der Freigabedialog. Den harmlosen Befehl npm config set registry blockierten 59 Prozent der Teilnehmer, rm -rf dist/ immerhin 45 Prozent. Nach genügend Fehlalarmen klicken Prüfer auch die echten Warnungen weg. Nur 20,8 Prozent stoppten jede Bedrohung und sperrten dabei höchstens ein Fünftel der harmlosen Befehle. Dass diese Aufsicht mehr zermürbt als das Programmieren selbst, berichten Entwicklerteams seit Monaten.
409.000 Einzelentscheidungen aus 40.000 Durchläufen, ausgewertet von Scale X
Bei 59 Prozent Fehlalarmen lernt jedes Team, den Freigabedialog wegzuklicken. Sicherheit entsteht in der Sandbox, nicht im Bestätigungsfenster.
— Markus Seyfferth, Chefredakteur Dr. Web
Was folgt aus der Freigabe von KI-Agenten für Betriebe im DACH-Raum?
Falscher Anker. Die EU-KI-Verordnung nennt den Automation Bias in Artikel 14 ausdrücklich und verpflichtet Anbieter, Aufsichtspersonen gegen das übermäßige Vertrauen in Maschinenausgaben zu wappnen.[3] Für Hochrisiko-Systeme nach Anhang III greift die Vorschrift allerdings erst am 2. Dezember 2027. Ein Coding-Agent im Entwicklerteam fällt ohnehin nicht darunter.
Artikel 32 zählt jetzt. Verantwortlich bleibt der Betreiber nach Artikel 32 DSGVO, der technische und organisatorische Maßnahmen nach dem Stand der Technik verlangt. Was dieser Stand bei KI-Systemen bedeutet, schreibt das BSI gerade fest: Der Entwurf des Prüfkatalogs A5 liegt seit dem 6. Juli 2026 zur Kommentierung vor.[4] Die Werkzeuge stehen bereit, von MicroVMs bei AWS Lambda bis zu eigenen Maschinenkonten, wie Okta sie seit dem Zukauf von Permiso verwaltet.
Vor dem nächsten Rollout hilft Abschottung mehr als Aufmerksamkeit. Agenten gehören in eine eigene virtuelle Maschine mit eigenen Zugangsdaten, Freigaben bleiben den wirklich riskanten Aktionen vorbehalten. Unter Review-Pflicht gehört außerdem die package.json samt Lockfile, weil dort die Schadlast sitzt, die im Freigabedialog niemand sieht. Die Grundlagen dazu sammelt unser Ratgeber zur Cybersecurity als Chefsache.
Quellen
[1] Scale X: „Humans missed 1 in 3 threats approving AI agent commands across 40k plays“
[2] Brian Stanton, Mary Theofanos, Sandra Spickard Prettyman, Susanne Furman (NIST): „Security Fatigue“, IT Professional 18 (5), 2016
[3] Europäische Union: Verordnung (EU) 2024/1689 über künstliche Intelligenz, Artikel 14
[4] Bundesamt für Sicherheit in der Informationstechnik: „Prüfkatalog vertrauenswürdige KI-Systeme: BSI veröffentlicht Community Draft des A5“, 6. Juli 2026
Mehr Newshunger?
- Human in the Loop am Limit: Warum KI-Programmierung die Entwickler ermüdet
- Atlassian Rovo: Eine versteckte Anweisung genügt für den Datenabfluss aus Jira und Confluence
- Langflow-Lücke: IBMs KI-Baukasten vergibt Superuser-Token an jeden Aufrufer
- KI-Agent erfindet falsche Identitäten: Wie Anthropics Mythos 5 einen Entwickler täuschte
- KI-Agenten bekommen bei Cloudflare nur noch selten einen eigenen Container
- Okta kauft Permiso: Auf einen Menschen kommen 109 Maschinenkonten
