OpenAI hat am 22. November die Perplexity-Werte seiner Modelle veröffentlicht und schlägt vor, die Entwicklung der stärksten KI-Modelle an gemeinsame Grenzwerte zu koppeln. Chefwissenschaftler Jakub Pachocki zeigt in dem Beitrag „Perplexity and Intelligence“, wie gut die Modelle seit GPT-3.5 den jeweils nächsten Textabschnitt vorhersagen.[1] Für 2027 hält er einen Schub grundlegender Fortschritte im Vortraining für denkbar.[1]
Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügenInhalt 5 Abschnitte
Das Wichtigste in Kürze
- OpenAI nennt logarithmierte Perplexity-Werte seiner Modelle: etwa 0,99 bei GPT-3.5, etwa 0,91 bei GPT-4 und etwa 0,76 bei dem Modell, mit dem erste Mathematik-Durchbrüche gelangen.[1]
- Pachocki schlägt gemeinsame Grenzwerte vor, die KI-Firmen erst überschreiten, wenn die Überwachung ihrer Modelle einen festgelegten Stand erreicht.[1]
- Für den Bereich von 0,68 bis 0,7 erwartet er weitere Fähigkeiten, die niemand gezielt testet.[1]
- Eine Zusage anderer KI-Firmen nennt der Beitrag nicht.
Welche Messwerte nennt OpenAI?

Perplexity misst, wie gut ein Modell das jeweils nächste Textstück eines Testdatensatzes vorhersagt, den es nie gesehen hat; ein niedrigerer Wert bedeutet bessere Vorhersagen. OpenAI misst diese Kurve seit GPT-3.5 an einem internen Datensatz aus Programmcode und gibt den Logarithmus des Werts an.[1] GPT-3.5, die Grundlage des ersten ChatGPT, liegt bei etwa 0,99, GPT-4 bei etwa 0,91.[1]
Unter 0,8 sieht Pachocki Fähigkeiten in Cybersicherheit und Mathematik auftauchen. Ein Modell bei etwa 0,76 löste nach seinen Angaben offene Mathematikprobleme, die OpenAI seit über einem Jahr zur Prüfung vorlegt, eines nach dem anderen.[1] Daraus folgert er, dass im Vortraining ab 2027 ein ähnlicher Schub denkbar ist. Den steilen Verlauf der Kurve im Jahr 2026 führt OpenAI überwiegend auf Forschung und Rechenleistung zurück, zu einem kleineren Teil auf Automatisierung.[1]
Gemeinsame Grenzwerte sollen die KI-Firmen erst überschreiten, wenn ihre Fähigkeit, KI-Verhalten zu verstehen und zu überwachen, einen konkreten Meilenstein erreicht hat. Als Beispiel nennt Pachocki einen Nachfolger der heutigen Überwachung des Schlussfolgerns in Zwischenschritten.[1] Welche Fähigkeiten im Bereich von 0,68 bis 0,7 entstehen, weiß er nach eigenen Worten nicht: „Ich weiß nicht, welche das sein werden.“[1]
Warum taugt ausgerechnet Perplexity als Grenzwert?
Pachocki begründet die Wahl damit, dass neue Fähigkeiten im Vortraining entstehen und die spätere Feinabstimmung sie nur hervorholt. Tests für einzelne Aufgaben veralten dagegen schnell: Die Prüfaufgaben der GPT-4-Zeit sind laut Beitrag weitgehend ausgereizt.[1] Eine Zahl, die sich über Modellgenerationen hinweg messen lässt, bliebe aussagekräftig.
Die Werte verschiedener KI-Firmen sind nicht direkt vergleichbar, weil sie unterschiedliche Testdaten und Trainingsmischungen nutzen, räumt der Beitrag ein. Dazu kommen drei weitere Schwächen. Perplexity misst keine Aufgabe, für die Kunden zahlen. Schlussfolgern in Zwischenschritten steigert die Leistung stark, senkt die Perplexity aber nicht. Und wo die Untergrenze liegt, weiß niemand; nahe an ihr bedeuten kleine Zahlenschritte große Sprünge.[1]
Dass die Veröffentlichung Wettbewerbern ein klareres Bild von OpenAIs Stand gibt, räumt Pachocki ein. Der Wert gemeinsamer Sicherheitsmaßstäbe wiege schwerer.[1]
Ein Grenzwert, den nur ein Labor misst, ist noch keiner. Entscheidend wird, ob die Wettbewerber ihre Zahlen offenlegen.
Markus Seyfferth, Chefredakteur Dr. Web
Wie passt der Vorschlag zur Tempo-Debatte?
Am 28. Juli forderten 1.224 Beschäftigte der großen KI-Firmen, darunter Pachocki, Werkzeuge, mit denen sich das KI-Tempo steuern lässt, wie wir im Bericht zu „Pacing the Frontier“ beschrieben haben. Anthropic hielt es Anfang November laut Börsenprospekt für möglich, die eigene Schwelle für stark beschleunigten KI-Fortschritt bald zu erreichen. Und Dario Amodei sagte zum Börsengang zu, das Tempo nach Sicherheitsprüfungen zu steuern, nannte aber weder Frist noch Kriterium. Bei OpenAI liegt nun eine Zahl auf dem Tisch, an der sich ein Grenzwert festmachen ließe.
Was heißt das für Unternehmen in der DACH-Region?
Die KI-Verordnung der EU (AI Act) vermutet bei einem Modell mit allgemeinem Verwendungszweck ein systemisches Risiko, sobald sein Training mehr als 10²⁵ Gleitkommaoperationen verbraucht hat.[2] Bisher zählt also der Aufwand; Perplexity würde das Ergebnis des Trainings messen. Die Kommission darf Schwellen und Kennzahlen per delegiertem Rechtsakt ändern oder ergänzen.[2] Ob sie eine Größe wie Perplexity aufnimmt, ist offen.
Für Einkäufer und IT-Leiter ändert sich heute nichts, denn der Beitrag ist ein Vorschlag, verpflichtet keine KI-Firma und verweist auf keinen Vertrag. Die Werte stammen von einem Datensatz aus Programmcode und beantworten nicht, wie ein Modell Ihre Aufgaben löst. In Verträgen mit KI-Anbietern lohnt es sich, Modellwechsel mit Vorlauf anzukündigen, Versionsstände festzuschreiben und die Leistung an eigenen Aufgaben zu messen. Wie OpenAI die eigenen Modelle von außen prüfen lässt, haben wir im Bericht über die vier unabhängigen Prüfer beschrieben.
Quellen
2 Quellen anzeigenQuellen ausblenden
- OpenAIPerplexity and Intelligence, von Jakub Pachocki
- Europäische UnionVerordnung (EU) 2024/1689 (KI-Verordnung), Artikel 51
Mehr Newshunger?
- KI-Tempolimit: OpenAI und Anthropic unterstützen den Ruf nach einer staatlichen Bremse
- Anthropic sieht sich kurz vor der eigenen Schwelle für KI, die ihre Nachfolger selbst baut
- Amodei sagt zum Börsengang: Sicherheit bestimmt das Tempo
- OpenAI holt vier unabhängige Prüfer ins eigene Haus
- Altman skizziert drei Wege zur sicheren Superintelligenz: Weltbehörde, Fusion oder ein Sieger
- OpenAI trainiert seine stärksten KI-Modelle nur noch ohne Internetzugang
