Forscher von Nvidia und der südkoreanischen Hochschule KAIST haben am 10. November BirdDreams veröffentlicht, ein Weltmodell, das aus einem einzigen Kamerabild ein Fahrvideo und eine Vogelperspektive des Verkehrs erzeugt.[1] Anders als frühere Modelle braucht BirdDreams weder eine HD-Karte noch die künftigen Bewegungen der anderen Fahrzeuge als Eingabe.[2] Die anderen Fahrzeuge reagieren deshalb auf das Manöver des eigenen Autos, statt eine Aufzeichnung abzuspielen.[1]
Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügenInhalt 4 Abschnitte
Das Wichtigste in Kürze
- BirdDreams erzeugt aus einem Kamerabild zugleich Fahrvideo und Draufsicht, ohne HD-Karte und ohne vorgegebene Fahrten der anderen Fahrzeuge.
- Bei vorgegebenem Fahrweg weicht das Modell im Schnitt 3,83 statt 5,88 Meter ab, 35 Prozent weniger als die Vergleichsvariante.
- 57 Prozent von 375 Paarvergleichen sehen das Verhalten der anderen Fahrzeuge als realistischer an.
- Die Messwerte betreffen Videoqualität und Bahntreue, nicht die Sicherheit eines Fahrzeugs.
Was ändert die Vogelperspektive?

Im Kamerabild verdecken Fahrzeuge einander, und dieselbe Pixelverschiebung bedeutet je nach Entfernung etwas anderes.[1] BirdDreams erzeugt deshalb parallel ein schematisches Draufsichtvideo, in dem Straßen und Fahrzeuge als einfache Formen im festen Maßstab stehen.[2] Zwei Videomodelle, eines je Ansicht, tauschen sich beim Erzeugen aus.[2]
Frühere Modelle wie OmniDreams bekommen die künftigen Bewegungen der anderen Fahrzeuge als Eingabe und spielen damit Aufzeichnungen ab.[2] Fährt das eigene Auto anders als in der Aufzeichnung, bleiben die anderen auf ihrer alten Bahn. BirdDreams sagt diese Bewegungen selbst voraus: Schert das Testfahrzeug abrupt ein, wechselt auf der Projektseite ein weißer Wagen die Spur.[1]
Was zeigen die Messwerte?
Auf 200 Clips des Nvidia-Datensatzes PhysicalAI-AV zeigt sich die Bahntreue: Bei vorgegebenem Fahrweg weicht BirdDreams im Schnitt 3,83 Meter ab, die Vergleichsvariante auf OmniDreams-Basis 5,88 Meter.[1] Ohne Vorgabe liegt der Fehler bei 6,15 statt 7,76 Metern, gemessen an der besten von drei Fahrten je Szene.[1]
Bei der Bewertung durch Menschen gaben 25 Teilnehmer 375 Paarvergleiche ab: 57 Prozent hielten BirdDreams für realistischer, 24 Prozent die Vergleichsvariante, 19 Prozent beide für gleich gut.[1] Die Stichprobe ist klein. Das Modell hat rund 4 Milliarden Parameter und lernte auf 64 H100-Grafikprozessoren aus etwa 670 Stunden Fahrdaten, deren Draufsicht aus Annotationen gerendert wurde.[2]
Die Zahlen
Was Sie beim Lesen prüfen
Ein Simulator, in dem der Verkehr reagiert, ist nützlich. Als Beleg für sicheres Fahren reicht er nicht.
Markus Seyfferth, Chefredakteur Dr. Web
Was heißt das für Hersteller und Käufer in der DACH-Region?
Ein Fahrzeug ohne Fahrer darf in Deutschland nur mit Betriebserlaubnis oder Typgenehmigung fahren, und das in einem genehmigten, festgelegten Betriebsbereich.[3] Nach § 1e StVG muss es den Verkehrsvorschriften selbstständig entsprechen.[3] Dass ein Weltmodell wie BirdDreams als Nachweis dafür taugt, behauptet die Zusammenfassung der Arbeit nicht. Baidu zeigte Anfang November mit dem Weltmodell Apollo World einen ähnlichen Ansatz, in dem Verkehrsteilnehmer auf das Robotaxi reagieren.
Für den Einkauf von Simulationssoftware zählt zuerst, ob die anderen Verkehrsteilnehmer im Modell auf das Manöver reagieren oder nur eine Aufzeichnung abspielen. Danach folgt die Frage nach der Datenbasis: BirdDreams braucht annotierte Fahrdaten, und auf der Projektseite finden sich Videos und der Link zum Paper, aber kein Download von Code oder Gewichten. Wie weit die Zulassung in der Praxis reicht, zeigt die KBA-Zulassung für assistiertes Stadtfahren bei Mercedes.
Quellen
3 Quellen anzeigenQuellen ausblenden
- Nvidia Spatial Intelligence LabProjektseite „BirdDreams“ mit Ergebnissen und Beispielvideos
- Seo, Seo, Kim, Leal-Taixé, Zhang, KimBirdDreams: Joint Perspective and BEV Video Generation for a Plausible, Reactive Driving World Model, arXiv 2611.14815
- Bundesrepublik Deutschland§ 1e Straßenverkehrsgesetz, Betrieb von Kraftfahrzeugen mit autonomer Fahrfunktion
Mehr Newshunger?
- Baidu stellt Weltmodell Apollo World vor, 100 Robotaxis fahren schon mit neuer Architektur
- Mercedes bekommt die KBA-Zulassung für assistiertes Stadtfahren
- Tesla plant ein Model Y ohne Lenkrad und Pedale
- Waymo stoppt nach Verbot in Kalifornien alle Autobahnfahrten
- Zoox-Robotaxis sind in Las Vegas über die Uber-App buchbar
- Fachkraft im Fahrbetrieb: Der Bus fährt, Verantwortung fährt mit
