Behavior Specs: Ein offener Standard macht das Verhalten von KI-Agenten prüfbar

Braintrust und die Steuer-KI-Firma Basis haben mit Behavior Specs einen offenen Standard veröffentlicht, der beschreibt, wie sich ein KI-Agent über eine ganze Aufgabe hinweg verhalten soll. Die Regeln liegen als Markdown-Datei im Code-Repository. Der Agent selbst bekommt diese Vorgaben nie zu sehen.

drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen

Behavior Specs treffen einen wunden Punkt jedes KI-Projekts: Ein Agent, der stundenlang an einer Steuererklärung arbeitet, durchläuft dabei hunderte Einzelschritte, am Ende steht aber nur ein einziges Ergebnis. Ob der Weg dahin sauber war, verrät dieses Ergebnis nicht.

Das Wichtigste in Kürze

• Offener Standard: Braintrust und Basis stellen Behavior Specs unter der Apache-2.0-Lizenz kostenlos bereit, inklusive Spezifikation, Vorlagen und einem Prüfwerkzeug für die Kommandozeile.
• Verhalten statt Ergebnis: Eine Spec beschreibt sechs Ebenen des Vorgehens, von der Absicht bis zur Fehlererholung, nicht nur das Endresultat.
• Nie im Prompt: Der Agent sieht die Spec nie; das Dokument dient der Prüfung von Verläufen, dem Entwurf von Tests und der Ausrichtung von Prompts.
• Klares Urteil: Jede Spec fällt pro Verlauf genau eines von drei Urteilen: wahr, falsch oder nicht anwendbar.

Was steckt hinter Behavior Specs?

Eine Behavior Spec ist eine BEHAVIOR.md-Datei mit kurzem YAML-Kopf und frei formuliertem Markdown-Text. Sie liegt im Ordner .agents/behaviors/ direkt neben dem Agenten und wandert mit dem Code durch die Versionsverwaltung.^[2] Dass Fachleute die Regeln für ihre Agenten inzwischen schlicht als Markdown notieren, zeigt auch Figmas neuer Skills-Ansatz.

Der Standard gliedert das erwartete Verhalten in sechs Ebenen: Absicht, Belege, Entscheidung, Ausführung, Fehlererholung und Fehlermuster.^[1] Jede Ebene hält fest, was ein Agent vorab prüfen, woraus er schließen und wie er auf fehlende Belege reagieren soll.

Warum reichen reine Ergebnis-Tests nicht?

Klassische Tests messen nur das Endergebnis. Bei stundenlangen Aufgaben wird das zum Problem: Ein Agent kann die richtige Antwort liefern und trotzdem den falschen Weg gegangen sein, etwa ohne die nötigen Belege zu prüfen.^[1]

Behavior Specs setzen deshalb bei der Prozess-Aufsicht an, nicht beim Endergebnis. Anders als ein Prompt oder eine AGENTS.md-Datei steuert die Spec den Agenten nicht, sondern bewertet im Nachhinein seinen Verlauf. Am nächsten kommt ihr OpenAIs Model Spec, das öffentlich festhält, wie sich ein Modell verhalten soll.

Was heißt das für Unternehmen im DACH-Raum?

Für Betreiber im DACH-Raum trifft der Standard einen regulatorischen Nerv. Die EU-KI-Verordnung verlangt für Hochrisiko-Systeme eine menschliche Aufsicht und eine dokumentierte Prüfung, auch wenn diese Pflichten erst 2027 vollständig greifen. Eine versionierte Behavior Spec liefert dafür einen nachvollziehbaren Nachweis.

Ein sinnvoller erster Schritt ist, die riskanten Verhaltensweisen zu benennen, die ein Agent nie zeigen darf, etwa Änderungen an Produktivsystemen oder kostenwirksame Aktionen. Genau solche Fälle führt der Standard als Vorlagen mit, samt einem Beispiel, das einen Agenten zwingt, eine Präsentationsfolie vor der Rückgabe als Bild zu rendern und zu prüfen.^[1]

Ausprobieren kostet wenig: Das Repository steht offen, und das Kommandozeilen-Werkzeug prüft die Struktur einer Spec. Produktiv wird der Ansatz allerdings erst mit einer eigenen Eval-Pipeline. Für Teams, die KI-Agenten über einfache Chatbots hinaus einsetzen, lohnt der Blick auf Behavior Specs schon heute.

Quellen

[1] Braintrust: „Behavior specs, an open standard for supervising long-horizon agents“

[2] GitHub: braintrustdata/agentbehavior

Mehr Newshunger?

• Figma-Skills: Designer schreiben dem KI-Agenten ihre Regeln als Markdown
• Modell-Routing bei Snowflake: Das kleine KI-Modell fängt an, das teure übernimmt den Rest
• Anthropic vor dem Börsengang: 56,6 Milliarden Euro sind hochgerechnet, nicht verdient
• Baidu bezahlt den KI-Umbau mit zwei Dritteln seines Gewinns
• RTL Group macht KI zur Chefsache: Eigener Berater für den Vorstandschef