Artikel teilen

OpenAI hat am 22. November die Perplexity-Werte seiner Modelle veröffentlicht und schlägt vor, die Entwicklung der stärksten KI-Modelle an gemeinsame Grenzwerte zu koppeln. Chefwissenschaftler Jakub Pachocki zeigt in dem Beitrag „Perplexity and Intelligence“, wie gut die Modelle seit GPT-3.5 den jeweils nächsten Textabschnitt vorhersagen.[1] Für 2027 hält er einen Schub grundlegender Fortschritte im Vortraining für denkbar.[1]

Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügen
Inhalt 5 Abschnitte
  1. Welche Messwerte nennt OpenAI?
  2. Warum taugt ausgerechnet Perplexity als Grenzwert?
  3. Wie passt der Vorschlag zur Tempo-Debatte?
  4. Was heißt das für Unternehmen in der DACH-Region?
  5. Mehr Newshunger?
Auf einen Blick

Das Wichtigste in Kürze

  • OpenAI nennt logarithmierte Perplexity-Werte seiner Modelle: etwa 0,99 bei GPT-3.5, etwa 0,91 bei GPT-4 und etwa 0,76 bei dem Modell, mit dem erste Mathematik-Durchbrüche gelangen.[1]
  • Pachocki schlägt gemeinsame Grenzwerte vor, die KI-Firmen erst überschreiten, wenn die Überwachung ihrer Modelle einen festgelegten Stand erreicht.[1]
  • Für den Bereich von 0,68 bis 0,7 erwartet er weitere Fähigkeiten, die niemand gezielt testet.[1]
  • Eine Zusage anderer KI-Firmen nennt der Beitrag nicht.

Welche Messwerte nennt OpenAI?

Ein Lineal liegt auf Papier. Ein oranger Zettel darauf ist mit „Grenze?“ beschriftet
Perplexity-Werte von OpenAI-Modellen: GPT-3.5 bei 0,99, GPT-4 bei 0,91. Niedrigere Werte zeigen bessere Vorhersagen des nächsten Textstücks an

Perplexity misst, wie gut ein Modell das jeweils nächste Textstück eines Testdatensatzes vorhersagt, den es nie gesehen hat; ein niedrigerer Wert bedeutet bessere Vorhersagen. OpenAI misst diese Kurve seit GPT-3.5 an einem internen Datensatz aus Programmcode und gibt den Logarithmus des Werts an.[1] GPT-3.5, die Grundlage des ersten ChatGPT, liegt bei etwa 0,99, GPT-4 bei etwa 0,91.[1]

Unter 0,8 sieht Pachocki Fähigkeiten in Cybersicherheit und Mathematik auftauchen. Ein Modell bei etwa 0,76 löste nach seinen Angaben offene Mathematikprobleme, die OpenAI seit über einem Jahr zur Prüfung vorlegt, eines nach dem anderen.[1] Daraus folgert er, dass im Vortraining ab 2027 ein ähnlicher Schub denkbar ist. Den steilen Verlauf der Kurve im Jahr 2026 führt OpenAI überwiegend auf Forschung und Rechenleistung zurück, zu einem kleineren Teil auf Automatisierung.[1]

Gemeinsame Grenzwerte sollen die KI-Firmen erst überschreiten, wenn ihre Fähigkeit, KI-Verhalten zu verstehen und zu überwachen, einen konkreten Meilenstein erreicht hat. Als Beispiel nennt Pachocki einen Nachfolger der heutigen Überwachung des Schlussfolgerns in Zwischenschritten.[1] Welche Fähigkeiten im Bereich von 0,68 bis 0,7 entstehen, weiß er nach eigenen Worten nicht: „Ich weiß nicht, welche das sein werden.“[1]

Warum taugt ausgerechnet Perplexity als Grenzwert?

Pachocki begründet die Wahl damit, dass neue Fähigkeiten im Vortraining entstehen und die spätere Feinabstimmung sie nur hervorholt. Tests für einzelne Aufgaben veralten dagegen schnell: Die Prüfaufgaben der GPT-4-Zeit sind laut Beitrag weitgehend ausgereizt.[1] Eine Zahl, die sich über Modellgenerationen hinweg messen lässt, bliebe aussagekräftig.

Die Werte verschiedener KI-Firmen sind nicht direkt vergleichbar, weil sie unterschiedliche Testdaten und Trainingsmischungen nutzen, räumt der Beitrag ein. Dazu kommen drei weitere Schwächen. Perplexity misst keine Aufgabe, für die Kunden zahlen. Schlussfolgern in Zwischenschritten steigert die Leistung stark, senkt die Perplexity aber nicht. Und wo die Untergrenze liegt, weiß niemand; nahe an ihr bedeuten kleine Zahlenschritte große Sprünge.[1]

Dass die Veröffentlichung Wettbewerbern ein klareres Bild von OpenAIs Stand gibt, räumt Pachocki ein. Der Wert gemeinsamer Sicherheitsmaßstäbe wiege schwerer.[1]

Vom ersten ChatGPT zur Mathematik: die Werte im Vergleich
Logarithmierte Werte auf OpenAIs internem Testdatensatz, niedriger ist besser; Angaben aus Pachockis Beitrag
≈ 0,99
GPT-3.5: führte flüssige Gespräche, Grundlage des ersten ChatGPT
≈ 0,91
GPT-4: nutzte das Schlussfolgern in Zwischenschritten produktiv
≈ 0,76
Modell, das offene Mathematikprobleme der Testreihe löste
0,68 bis 0,7
nächster Bereich, für den OpenAI weitere Fähigkeiten erwartet
Was OpenAI als gemeinsame Regel vorschlägt
Schritt 1
Gemeinsame Messgröße: Perplexity und weitere Messungen
Schritt 2
Erster Grenzwert, gemessen an einer Größe, die alle KI-Firmen verfolgen
Schritt 3
Bedingung: ein konkreter Meilenstein beim Verstehen und Überwachen
Schritt 4
Weitere Grenzwerte nach demselben Muster

Ein Grenzwert, den nur ein Labor misst, ist noch keiner. Entscheidend wird, ob die Wettbewerber ihre Zahlen offenlegen.

Markus Seyfferth, Chefredakteur Dr. Web
Zitat teilen

Wie passt der Vorschlag zur Tempo-Debatte?

Am 28. Juli forderten 1.224 Beschäftigte der großen KI-Firmen, darunter Pachocki, Werkzeuge, mit denen sich das KI-Tempo steuern lässt, wie wir im Bericht zu „Pacing the Frontier“ beschrieben haben. Anthropic hielt es Anfang November laut Börsenprospekt für möglich, die eigene Schwelle für stark beschleunigten KI-Fortschritt bald zu erreichen. Und Dario Amodei sagte zum Börsengang zu, das Tempo nach Sicherheitsprüfungen zu steuern, nannte aber weder Frist noch Kriterium. Bei OpenAI liegt nun eine Zahl auf dem Tisch, an der sich ein Grenzwert festmachen ließe.

Was heißt das für Unternehmen in der DACH-Region?

Die KI-Verordnung der EU (AI Act) vermutet bei einem Modell mit allgemeinem Verwendungszweck ein systemisches Risiko, sobald sein Training mehr als 10²⁵ Gleitkommaoperationen verbraucht hat.[2] Bisher zählt also der Aufwand; Perplexity würde das Ergebnis des Trainings messen. Die Kommission darf Schwellen und Kennzahlen per delegiertem Rechtsakt ändern oder ergänzen.[2] Ob sie eine Größe wie Perplexity aufnimmt, ist offen.

Für Einkäufer und IT-Leiter ändert sich heute nichts, denn der Beitrag ist ein Vorschlag, verpflichtet keine KI-Firma und verweist auf keinen Vertrag. Die Werte stammen von einem Datensatz aus Programmcode und beantworten nicht, wie ein Modell Ihre Aufgaben löst. In Verträgen mit KI-Anbietern lohnt es sich, Modellwechsel mit Vorlauf anzukündigen, Versionsstände festzuschreiben und die Leistung an eigenen Aufgaben zu messen. Wie OpenAI die eigenen Modelle von außen prüfen lässt, haben wir im Bericht über die vier unabhängigen Prüfer beschrieben.

Quellen

2 Quellen anzeigenQuellen ausblenden
  1. OpenAIPerplexity and Intelligence, von Jakub Pachocki22.11.2026
  2. Europäische UnionVerordnung (EU) 2024/1689 (KI-Verordnung), Artikel 51

Mehr Newshunger?

4,6 14 Bewertungen

Wie hat Ihnen dieser Artikel gefallen?

Dr. Web Newsletter

Jede Woche ein bisschen klüger.

Der Dr. Web Newsletter: die besten Artikel, Anbieter-Tipps und neue Tools, kompakt zusammengefasst, jeden Donnerstag. Kostenlos und jederzeit abbestellbar.