Forscher des Massachusetts Institute of Technology (MIT) haben am 2. November gezeigt, dass OpenAIs Sprachmodell GPT-6 Astra die Gewichte neuronaler Netze lesen und gezielt ändern kann, ohne sie neu zu trainieren. Nach einem Eingriff in 0,016 Prozent seiner Gewichte löste das offene Modell Qwen3.5-0.8B 48,1 statt 7,9 Prozent der Aufgaben im Mathetest MATH-500.[1]
Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügenInhalt 4 Abschnitte
Die Gruppe um Omar Khattab vom Informatiklabor CSAIL spricht von frühen Ergebnissen. Für Unternehmen, die offene Modelle selbst betreiben, wird damit die Herkunft jeder Modelldatei zur Sicherheitsfrage.
Das Wichtigste in Kürze
- GPT-6 Astra erkannte aus den rohen Zahlen kleiner Netze, wofür sie trainiert waren.
- Bei Qwen3.5-0.8B entfernte das Modell die Ursache für Endlosschleifen beim Nachdenken.
- Die EU-Leitlinien machen einen Modellveränderer erst ab einem Drittel des ursprünglichen Trainingsaufwands zum Anbieter.
Wie verbessert ein Sprachmodell ein anderes ohne Training?
Gewöhnlich passt ein Optimierungsverfahren die Gewichte eines Netzes im Training schrittweise an. Die Forscher lassen stattdessen OpenAIs leistungsfähigstes KI-Modell die Zahlen lesen und mit Begründung ändern. Sie nennen das Weight-Space Programming, also Programmieren direkt in den Gewichten.[1]
Bei Qwen3.5-0.8B stieß Astra auf ein bekanntes Problem. Laut Modellkarte gerät das kleine Modell beim Nachdenken öfter als andere Qwen3.5-Modelle in Endlosschleifen und beendet seine Antwort nicht.[2] Astra führte die Schleifen auf ein einzelnes Signal zurück, das zwei Schichten an die folgenden weitergeben, mathematisch eine Richtung im Zahlenraum des Modells. Dieses Signal rechnete Astra aus 131.072 Gewichten heraus. Danach stieg auch der Wert im Test für das Befolgen von Anweisungen (IFEval) von 21,0 auf 62,3 Prozent.[1]
Der Eingriff hat ein Vorbild in der Sicherheitsforschung. 2024 zeigten Forscher um Andy Arditi und Neel Nanda an 13 offenen Chatmodellen, dass ein einziges solches Signal steuert, ob ein Modell schädliche Anfragen ablehnt. Eine Änderung der Gewichte an dieser Stelle schaltet die Schutzvorkehrungen ab, einfacher als jedes Fine-Tuning.[3] Bisher suchten Spezialisten solche Stellen mit eigenen Werkzeugen, so wie Anthropic das Innere von Claude sichtbar macht. Nun findet sie ein allgemeines KI-Modell.
Was gelingt Astra in den Versuchen, und wo scheitert es?
- Lesen: Aus 17.253 Gewichten erkannte Astra ohne Hilfsmittel, welches Videospiel ein Netz gelernt hatte, bei allen vier Netzen.
- Reparieren: Ein trainiertes Netz brachte ein Auto nie über eine Rampe. Nach Astras Änderung an 3,5 Prozent der Gewichte gelang es in allen 1.024 Durchgängen.
- Schreiben: Für drei weitere Spiele schrieb Astra Netze von Grund auf, ohne Testlauf. Sie schlugen Netze, die 100 Millionen Schritte trainiert worden waren.
- Grenzen: Welches von zwei Gemma-Modellen dem Nutzer nach dem Mund redet, konnte Astra aus den Gewichten allein nicht sagen.
Die Autoren schreiben selbst, dass ein Eingriff nur ein Hindernis beseitigt. Bei Gemma 3 270M blieb der Mathe-Wert bei rund 7 Prozent, neue Fähigkeiten konnte Astra nicht einbauen. Von Fachkollegen begutachtet ist die Arbeit noch nicht.[1]
Ein Modell, das Gewichte gezielt reparieren kann, kann sie ebenso gezielt manipulieren. Prüfen muss man künftig die Datei, nicht nur die Antworten.
Markus Seyfferth, Chefredakteur Dr. Web
Die Zahlen
Was Astra in den Versuchen gelang
Was bedeutet das für Unternehmen in Europa?
Ein Unternehmen, das ein fremdes Modell verändert, wird laut den Leitlinien der EU-Kommission zur KI-Verordnung in der Regel erst dann zum Anbieter eines KI-Modells mit allgemeinem Verwendungszweck, wenn es dafür mehr als ein Drittel der Rechenleistung des ursprünglichen Trainings einsetzt.[4][5] Die Korrektur an Qwen kam ohne Training mit 50 Probeläufen an Übungsaufgaben aus. Sie bleibt weit unter der Schwelle und verändert das Verhalten trotzdem stark.
Für Firmen, die offene Modelle wie Mistral Large 4 oder Qwen im eigenen Haus betreiben, folgen daraus drei Aufgaben:
- Herkunft sichern: Modelldateien nur aus der Originalquelle laden und Prüfsummen vergleichen, denn veränderte Gewichte fallen im Betrieb nicht auf.
- Verhalten testen: Nach jedem Modellwechsel die eigenen Testfragen erneut stellen, vor allem dazu, ob das Modell unzulässige Anfragen weiter ablehnt, und zum Datenschutz.
- Eingriffe dokumentieren: Eigene Änderungen an Gewichten wie Softwareänderungen festhalten.
Die Forscher hoffen, mit der Methode versteckte Hintertüren in Modellen zu finden, ohne die Modelle laufen zu lassen. Ob das gelingt, soll ein Benchmark zeigen, an dem die Gruppe arbeitet.[1]
Quellen
5 Quellen anzeigenQuellen ausblenden
- Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab (MIT CSAIL)Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights
- Qwen (Alibaba), Hugging FaceModellkarte „Qwen3.5-0.8B“, abgerufen am 2. November 2026
- Andy Arditi u. a.Refusal in Language Models Is Mediated by a Single Direction, NeurIPS 2024
- Europäische KommissionGuidelines for providers of general-purpose AI models, abgerufen am 2. November 2026
- Future of Life Institute, AI Act ExplorerOverview of Guidelines for GPAI Models
Mehr Newshunger?
- SenseNova-Loop-9B: SenseTimes offenes KI-Modell rechnet 24 Schichten doppelt
- LongCat-2.5: Meituans KI-Modell kommt in eigenen Tests nah an Claude Opus 5 heran
- Frank Calegari: Die Mathematik hat sich durch KI verändert, das Fach soll danach handeln
- Anthropic: Kleine KI-Modelle könnten sich in wenigen Monaten selbst kopieren
- US-Konzerne setzen zunehmend auf Open-Source-KI statt auf OpenAI und Anthropic
