Ein Pelikan auf einem Fahrrad ist zum bekanntesten inoffiziellen KI-Test der Branche geworden. Ein Entwickler hat mit mehr als 1.000 Bildern geprüft, ob die großen KI-Labore heimlich genau darauf hin optimieren. Die Antwort ist für jeden interessant, der Modelle nach Benchmark-Zahlen auswählt.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Kaum ein KI-Benchmark ist so populär und zugleich so unwissenschaftlich wie die Bitte, einen Pelikan auf einem Fahrrad als SVG-Grafik zu zeichnen. Seit Ende 2024 schickt der Entwickler Simon Willison diesen einen Satz an jedes neue Sprachmodell und veröffentlicht die Ergebnisse.[2] Die Bilder sind von Modell zu Modell besser geworden, und prompt kam der Verdacht auf: Üben die Labore den Pelikan inzwischen gezielt?
Das Wichtigste in Kürze
- Der „Pelikan auf dem Fahrrad“ ist ein viraler, inoffizieller Test für die SVG- und Raumvorstellung von Sprachmodellen.
- Ein kontrollierter Versuch mit 1.008 Bildern über sieben KI-Labore fand keinen Beleg für gezielte Optimierung.
- Ausgerechnet die Kombination aus Pelikan und Fahrrad landete nur auf Rang 42 von 48 getesteten Motiven.
- Für die Modellauswahl bleibt eine klare Lehre: Eine einzelne Benchmark-Zahl trägt keine Kaufentscheidung.
Was steckt hinter dem Pelikan-Test?
Der Test besteht aus einem einzigen Prompt: „Zeichne einen Pelikan auf einem Fahrrad als SVG.“ Simon Willison wählte das Motiv bewusst absurd, weil es dafür kaum Vorlagen im Trainingsmaterial gibt und ein Modell die Grafik selbst konstruieren muss.
Genau diese Absurdität war der Clou. Ein Foto einer Katze steckt millionenfach im Trainingsmaterial, ein sauberer Pelikan auf einem Fahrrad praktisch nie. Große Sprachmodelle müssen Anatomie, Fahrrad-Geometrie und Perspektive aus dem Stand in Code übersetzen, statt eine Erinnerung abzurufen.
Mit der Popularität kam der Verdacht. Sobald eine Kennzahl zum Ziel wird, taugt sie nicht mehr als Maß, so beschreibt es das Goodhartsche Gesetz. Kennen die Labore den Pelikan, könnten sie ihn heimlich trainieren.
Kein Beleg für gezieltes Training
Der Entwickler Dylan Castillo hat den Verdacht mit einem kontrollierten Aufbau geprüft.[1] Sieben führende Modelle mussten je acht Tiere auf sechs Fahrzeugen zeichnen, macht 48 Kombinationen und 1.008 Grafiken. Ein zweites Modell hat jede davon blind bewertet.
Wäre ein Labor auf den Pelikan optimiert, müsste ausgerechnet diese Kombination herausragen. Sie hat das Gegenteil getan und landete auf Rang 42 von 48. Pelikane schnitten unter allen Tieren schwach ab, Fahrräder gehörten zu den schwierigsten Fahrzeugen, und kein Labor zeigte einen statistisch belastbaren Pelikan-Effekt.
Die eigentliche Erkenntnis liegt woanders. Die Modelle sind nicht im Pelikan besser geworden, sondern generell im Zeichnen von SVG. Diese Fähigkeit überträgt sich, etwa auf die 3D-Konstruktion, und lässt sich nicht durch das Auswendiglernen eines einzelnen Motivs erklären.
Das Fazit des Versuchs
Kein Labor zeigte einen statistisch belastbaren Pelikan-Effekt. Die Modelle sind allgemein besser im Zeichnen von SVG geworden, nicht gezielt bei diesem einen Motiv.
Eine virale Benchmark misst am Ende vor allem ihre eigene Berühmtheit. Für die Modellauswahl im Unternehmen zählt nur ein Test, nämlich der mit Ihren echten Aufgaben.
— Markus Seyfferth, Chefredakteur Dr. Web
Warum die Zahl für Ihre Modellauswahl zählt?
Verlassen Sie sich nie auf eine einzelne Benchmark-Zahl aus dem Marketing eines Anbieters. Selbst ein sauber gemessener Wert sagt wenig über Ihre Aufgaben, und öffentliche Tests sickern über frei zugängliche Daten früher oder später ins Training.
Für Entscheider ist das mehr als eine Kuriosität. Immer mehr Anbieter stellen neue Modelle bewusst ganz ohne Benchmark-Zahlen vor, zuletzt etwa Alibaba bei mehreren Qwen-Releases. Eine Kennzahl, die sich nicht prüfen lässt, taugt nicht als Grundlage einer Entscheidung.
Auch die Methode hat eine Schwäche: Ein einzelnes KI-Modell hat als Schiedsrichter alle Bilder bewertet, ohne zweite Kontrollinstanz. Selbst die Widerlegung eines Verdachts bleibt so ein Näherungswert.
Praktisch heißt das: Stellen Sie eine kleine, nicht öffentliche Testreihe aus echten Aufgaben Ihres Betriebs zusammen und lassen Sie jedes der neuen Modelle daran arbeiten. Diese private Messlatte veraltet nicht durch Berühmtheit und trifft Ihren Anwendungsfall genauer als jede Bestenliste.
Quellen
[1] Dylan Castillo: „Are AI Labs Pelicanmaxxing?“ ↩
[2] Simon Willison: „Pelican riding a bicycle“ (Benchmark-Sammlung) ↩
Mehr Newshunger?
- Qwen 3.8: 2,4 Billionen Parameter, offene Gewichte versprochen, kein einziger Benchmark
- Kimi K3 ist da: 2,8 Billionen Parameter und ein Bruch mit dem Billig-Image
- Claude Fable hat ein Gegenbeispiel zur Jacobi-Vermutung erzeugt
- Gemini 3.6 Flash und 3.5 Flash Cyber: Google verbilligt die KI
- OpenAI-Testmodelle brechen bei Hugging Face ein
