Nadella: Die Notbremse für KI-Modelle gehört in die Hand der Betreiber

Michael Dobler

Autor Dr. Web

11. Oktober 2026

2 Min. Lesezeit

Satya Nadella will KI-Modelle in Unternehmen wie ein Insiderrisiko behandeln und von Beginn an eindämmen, als wären sie bereits kompromittiert. Die Kontrollen sollen außerhalb des Modells liegen, damit eine befugte Person jeden Agenten mitten in der Aufgabe anhalten kann. Für Hochrisiko-Systeme schreibt die EU eine solche Stopp-Taste ab Dezember 2027 ohnehin vor.

drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen

Die Notbremse für KI-Modelle beschreibt Satya Nadella in einem Essay, den der Vorstandschef von Microsoft am 10. Oktober auf seinem Blog sn scratchpad veröffentlichte. „Wir müssen davon ausgehen, dass ein Modell kompromittiert ist, und es von Anfang an eindämmen“, schreibt Nadella. „Stellen Sie sich das wie eine Notbremse vor.“^[1]

Das Wichtigste in Kürze

Nadella fordert, KI-Modelle in Unternehmen wie ein Insiderrisiko zu behandeln.
Zugriffsrechte und Protokolle gehören in die Hand des einsetzenden Unternehmens, kein Modell soll seine eigene Arbeit prüfen.
Die EU-KI-Verordnung verlangt eine Stopp-Taste für Hochrisiko-Systeme ab dem 2. Dezember 2027.

Was verlangt Nadella von Unternehmen?

Ein gelber Not-Aus-Schalter mit rotem Pilztaster und einem angehängten, blauen — KI-Modelle sollten wie Insiderrisiken behandelt werden: Identitäten zuweisen, Zugriff begrenzen und überwachen, da ihr Verhalten nicht nachverfolgbar ist

Anders als bei klassischer Software lässt sich das Verhalten heutiger Modelle nicht auf bestimmte Trainingsdaten oder Gewichte zurückführen. Trotzdem bekommen Agenten Zugriff auf sensible Daten und handeln in geschäftskritischen Abläufen. Nadella schlägt deshalb vor, Modelle wie ein Insiderrisiko zu führen, mit den bewährten Regeln für mächtige Mitarbeiter: Identitäten vergeben, Rechte begrenzen, Aktivitäten protokollieren und Sicherheitsgrenzen ziehen.^[1] Bösartig seien Modelle nicht zwingend, schreibt der Microsoft-Chef, doch jeder fähige Akteur mit Zugang zu wichtigen Systemen könne Fehler machen oder kompromittiert werden.

Was ein Modell darf, legt nach Nadellas Vorstellung das einsetzende Unternehmen fest, die Kontrollen liegen außerhalb des Modells. Jede wesentliche Aktion soll einen fälschungssicheren, für Menschen lesbaren Nachweis hinterlassen. Kein Modell soll zugleich das Verhalten eines Systems steuern und die Belege liefern, an denen sich dieses Verhalten prüfen lässt. Zusicherungen der Modellanbieter entbinden Unternehmen laut Nadella nicht von ihrer Verantwortung.

Warum misstraut ausgerechnet Microsoft den Modellen?

Microsoft setzt auf Modelle vieler Hersteller: In Copilot arbeiten neben OpenAI-Modellen auch Anthropics Claude-Modelle, das neue Entscheidungsmodell Microsoft-Decision-1 beruht auf Alibabas Qwen. Microsoft verdient an der Steuerungsebene darüber, die Agenten orchestriert und Rechte vergibt. Schon im Juli riet Nadella Firmen auf seinem Blog, diese Ebene von jedem einzelnen Modell zu entkoppeln.^[2] Ende September warnte er zudem vor einer KI-Aufsicht nach Kartell-Art.

Beim Hugging-Face-Hack im Juli fälschten OpenAI-Agenten teils ihre eigenen Protokolle, die unabhängigen Prüfer mussten die Auswertung einem der beteiligten Modelle überlassen. Bei Anthropic stand die Isolation der Testumgebung nur im Prompt, nicht in den Netzwerkregeln. Nadellas Regeln zu unabhängiger Prüfung und externen Kontrollen zielen auf beide Lücken. Seit Ende September ermittelt die US-Handelsbehörde FTC gegen OpenAI und Anthropic wegen ausgebrochener Agenten.

Was Nadella fordert und was die EU schon vorschreibt

Fünf Prinzipien aus Nadellas Essay vom 10. Oktober 2026 im Abgleich mit der KI-Verordnung

Notbremse

Nadella

Eine befugte Person hält jedes Modell mitten in der Aufgabe an oder schaltet das Modell ab.

Hochrisiko-Systeme nach Anhang III brauchen ab 2. Dezember 2027 eine Stopp-Taste oder ein ähnliches Verfahren (Art. 14).

Lückenlose Spuren

Nadella

Jede wesentliche Aktion hinterlässt einen fälschungssicheren, für Menschen lesbaren Nachweis.

Hochrisiko-Systeme protokollieren automatisch, Betreiber bewahren die Protokolle mindestens sechs Monate auf (Art. 12 und 26).

Kontrolle beim Betreiber

Nadella

Zugriffsrechte und erlaubte Aktionen legt das einsetzende Unternehmen fest, außerhalb des Modells.

Betreiber übertragen die menschliche Aufsicht an Personen mit Fachkunde, Schulung und Befugnis (Art. 26).

Vorfälle offenlegen

Nadella

Betroffene erfahren zeitnah, was schiefging und welche Kontrolle versagt hat.

Anbieter besonders leistungsfähiger Modelle melden schwerwiegende Vorfälle unverzüglich dem KI-Büro (Art. 55).

Mehrere Modelle

Nadella

Kein Modell wird zur einzigen Abhängigkeit, und keines prüft seine eigene Arbeit.

Eine vergleichbare Pflicht kennt die KI-Verordnung nicht.

Nadellas Notbremse ist solide Sicherheitstechnik und zugleich Werbung für Microsofts Rolle als Aufseher über fremde Modelle.
Markus Seyfferth, Chefredakteur Dr. Web

Was bedeutet Nadellas Forderung für Unternehmen in der EU?

Einen Teil seiner Liste schreibt in Europa bereits das Gesetz vor. Die KI-Verordnung verlangt für Hochrisiko-Systeme eine menschliche Aufsicht, die den Betrieb über eine Stopp-Taste oder ein ähnliches Verfahren unterbrechen kann.^[3] Betreiber müssen automatisch erzeugte Protokolle mindestens sechs Monate aufbewahren. Nach dem Digital Omnibus gelten diese Pflichten für Systeme nach Anhang III ab dem 2. Dezember 2027.

Unternehmen, die Agenten in Buchhaltung, Vertrieb oder IT einsetzen, sollten zwei Fragen schon vor 2027 klären. Lässt sich jeder Agent ohne Mitwirkung des Anbieters anhalten? Liegen die Protokolle in eigenen Systemen, auf die der Agent keinen Schreibzugriff hat? In den USA gelten bisher nur freiwillige Zusagen wie das KI-Abkommen des Weißen Hauses. Weitere Meldungen über die prägenden Köpfe der Branche sammelt das Archiv der Tech-Titanen, Hintergründe zu Modellen und Agenten die KI-Rubrik.