Artikel teilen

Forscher von Nvidia und der südkoreanischen Hochschule KAIST haben am 10. November BirdDreams veröffentlicht, ein Weltmodell, das aus einem einzigen Kamerabild ein Fahrvideo und eine Vogelperspektive des Verkehrs erzeugt.[1] Anders als frühere Modelle braucht BirdDreams weder eine HD-Karte noch die künftigen Bewegungen der anderen Fahrzeuge als Eingabe.[2] Die anderen Fahrzeuge reagieren deshalb auf das Manöver des eigenen Autos, statt eine Aufzeichnung abzuspielen.[1]

Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügen
Inhalt 4 Abschnitte
  1. Was ändert die Vogelperspektive?
  2. Was zeigen die Messwerte?
  3. Was heißt das für Hersteller und Käufer in der DACH-Region?
  4. Mehr Newshunger?
Auf einen Blick

Das Wichtigste in Kürze

  • BirdDreams erzeugt aus einem Kamerabild zugleich Fahrvideo und Draufsicht, ohne HD-Karte und ohne vorgegebene Fahrten der anderen Fahrzeuge.
  • Bei vorgegebenem Fahrweg weicht das Modell im Schnitt 3,83 statt 5,88 Meter ab, 35 Prozent weniger als die Vergleichsvariante.
  • 57 Prozent von 375 Paarvergleichen sehen das Verhalten der anderen Fahrzeuge als realistischer an.
  • Die Messwerte betreffen Videoqualität und Bahntreue, nicht die Sicherheit eines Fahrzeugs.

Was ändert die Vogelperspektive?

Modellauto auf hellblauem Untergrund in Klarsichthülle mit Aufschrift „Reagiert“
BirdDreams nutzt Draufsicht-Videos mit einfachen Formen, um Verdeckungen und Perspektivverzerrungen in Kamerabildern zu korrigieren

Im Kamerabild verdecken Fahrzeuge einander, und dieselbe Pixelverschiebung bedeutet je nach Entfernung etwas anderes.[1] BirdDreams erzeugt deshalb parallel ein schematisches Draufsichtvideo, in dem Straßen und Fahrzeuge als einfache Formen im festen Maßstab stehen.[2] Zwei Videomodelle, eines je Ansicht, tauschen sich beim Erzeugen aus.[2]

Frühere Modelle wie OmniDreams bekommen die künftigen Bewegungen der anderen Fahrzeuge als Eingabe und spielen damit Aufzeichnungen ab.[2] Fährt das eigene Auto anders als in der Aufzeichnung, bleiben die anderen auf ihrer alten Bahn. BirdDreams sagt diese Bewegungen selbst voraus: Schert das Testfahrzeug abrupt ein, wechselt auf der Projektseite ein weißer Wagen die Spur.[1]

Was zeigen die Messwerte?

Auf 200 Clips des Nvidia-Datensatzes PhysicalAI-AV zeigt sich die Bahntreue: Bei vorgegebenem Fahrweg weicht BirdDreams im Schnitt 3,83 Meter ab, die Vergleichsvariante auf OmniDreams-Basis 5,88 Meter.[1] Ohne Vorgabe liegt der Fehler bei 6,15 statt 7,76 Metern, gemessen an der besten von drei Fahrten je Szene.[1]

Bei der Bewertung durch Menschen gaben 25 Teilnehmer 375 Paarvergleiche ab: 57 Prozent hielten BirdDreams für realistischer, 24 Prozent die Vergleichsvariante, 19 Prozent beide für gleich gut.[1] Die Stichprobe ist klein. Das Modell hat rund 4 Milliarden Parameter und lernte auf 64 H100-Grafikprozessoren aus etwa 670 Stunden Fahrdaten, deren Draufsicht aus Annotationen gerendert wurde.[2]

BirdDreams im Prüfblick
Was die Messwerte zeigen und was sie offenlassen

Die Zahlen

57 %
der 375 Paarvergleiche sehen das Verkehrsverhalten als realistischer
3,83 m
mittlere Abweichung vom Fahrweg, Vergleichsvariante 5,88 m
21 %
weniger Fehler ohne vorgegebenen Fahrweg
4 Mrd.
Parameter, trainiert auf 64 H100-Prozessoren

Was Sie beim Lesen prüfen

Aspekt
Befund bei BirdDreams
Einschätzung
Fahrweg vorgegeben
3,83 statt 5,88 Meter Abweichung
genauer
Ohne Vorgabe
6,15 statt 7,76 Meter, beste von drei Fahrten
näher am Log
Reaktion
Spurwechsel beim Einscheren, gezeigt an Beispielclips
Einzelbeispiele
Menschliches Urteil
25 Teilnehmer, 375 Paarvergleiche
kleine Stichprobe
Trainingsdaten
etwa 670 Stunden, Draufsicht aus Annotationen
annotierte Daten nötig
Sicherheitsnachweis
nicht Gegenstand der Messung
offen

Ein Simulator, in dem der Verkehr reagiert, ist nützlich. Als Beleg für sicheres Fahren reicht er nicht.

Markus Seyfferth, Chefredakteur Dr. Web
Zitat teilen

Was heißt das für Hersteller und Käufer in der DACH-Region?

Ein Fahrzeug ohne Fahrer darf in Deutschland nur mit Betriebserlaubnis oder Typgenehmigung fahren, und das in einem genehmigten, festgelegten Betriebsbereich.[3] Nach § 1e StVG muss es den Verkehrsvorschriften selbstständig entsprechen.[3] Dass ein Weltmodell wie BirdDreams als Nachweis dafür taugt, behauptet die Zusammenfassung der Arbeit nicht. Baidu zeigte Anfang November mit dem Weltmodell Apollo World einen ähnlichen Ansatz, in dem Verkehrsteilnehmer auf das Robotaxi reagieren.

Für den Einkauf von Simulationssoftware zählt zuerst, ob die anderen Verkehrsteilnehmer im Modell auf das Manöver reagieren oder nur eine Aufzeichnung abspielen. Danach folgt die Frage nach der Datenbasis: BirdDreams braucht annotierte Fahrdaten, und auf der Projektseite finden sich Videos und der Link zum Paper, aber kein Download von Code oder Gewichten. Wie weit die Zulassung in der Praxis reicht, zeigt die KBA-Zulassung für assistiertes Stadtfahren bei Mercedes.

Quellen

3 Quellen anzeigenQuellen ausblenden
  1. Nvidia Spatial Intelligence LabProjektseite „BirdDreams“ mit Ergebnissen und Beispielvideos
  2. Seo, Seo, Kim, Leal-Taixé, Zhang, KimBirdDreams: Joint Perspective and BEV Video Generation for a Plausible, Reactive Driving World Model, arXiv 2611.14815
  3. Bundesrepublik Deutschland§ 1e Straßenverkehrsgesetz, Betrieb von Kraftfahrzeugen mit autonomer Fahrfunktion

Mehr Newshunger?

4,6 10 Bewertungen

Wie hat Ihnen dieser Artikel gefallen?

Dr. Web Newsletter

Jede Woche ein bisschen klüger.

Der Dr. Web Newsletter: die besten Artikel, Anbieter-Tipps und neue Tools, kompakt zusammengefasst, jeden Donnerstag. Kostenlos und jederzeit abbestellbar.