Forschende am MIT haben Robotern ein Langzeitgedächtnis gegeben, das Objekte, Orte und Zeitpunkte in natürlicher Sprache abrufbar macht. Das System namens DAAAM beschreibt die Umgebung so schnell, dass es selbst bei hunderten Objekten in Echtzeit mithält. Für Fertigung, Logistik und Service-Robotik ist das ein handfester Fortschritt.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Bisher kannten Karten von Robotern vor allem die Geometrie eines Raums. DAAAM, kurz für „Describe Anything Anywhere Anytime“, ergänzt diese Karten um reiche Beschreibungen und um den Zeitpunkt der Beobachtung.
Das Wichtigste in Kürze
- DAAAM verbindet 3D-Kartierung, Computer Vision und große Sprachmodelle zu einem räumlich-zeitlichen Gedächtnis.
- Der Roboter ruft gespeicherte Informationen über Anfragen in normaler Sprache ab, etwa zur Suche nach einem bestimmten Objekt.
- Jedes Objekt wird nur einmal annotiert, deshalb läuft das Verfahren auch in großen Umgebungen in Echtzeit.
- Anwendungen reichen von der Fertigung über den Service bis zu Augmented-Reality-Systemen.
Wie merkt sich ein Roboter, wo etwas steht?
Tempo war das eigentliche Problem. Existierende Verfahren brauchen einige Sekunden, um wenige Objekte zu beschreiben. Ein Roboter sieht bei wenigen Minuten Erkundung aber hunderte Objekte, weshalb solche Methoden für den Echtzeitbetrieb zu langsam bleiben.
DAAAM löst das mit zwei Kniffen. Das System fasst benachbarte Objekte während der Fahrt zusammen und wählt per Optimierung Schlüsselbilder aus, also Aufnahmen mit der klarsten Sicht auf ein Objekt. So entsteht eine 3D-Karte, auf der Beschreibungen räumlich gruppiert sind.
Der Roboter merkt sich damit nicht nur Koordinaten, sondern Bedeutung. Er weiß etwa, dass das rote Fahrrad mit dem platten Reifen im Ständer vor einem bestimmten Gebäude steht. Diese Verbindung von Sehen und Verstehen treibt derzeit das gesamte Feld an, wie auch Alibabas Qwen-Robot-Suite zeigt.
Wo hilft das Roboter-Gedächtnis im Betrieb?
Kontext macht den Unterschied im Einsatz. Indem DAAAM Objekte mit Ort und Zeit verknüpft, eignen sich Roboter besser für menschennahe Umgebungen.
Ein Roboter, der sich erinnert, wo der Mensch etwas liegen ließ, ist im Lager und in der Werkhalle plötzlich nützlich statt nur autonom. Die Hürde war nie das Sehen, sondern das Behalten.
— Markus Seyfferth, Chefredakteur Dr. Web
Luca Carlone, einer der beteiligten Forscher, betont das Tempo. „Je schneller der Roboter dieses räumliche Gedächtnis bildet, desto effizienter handelt er in der Umgebung“, erklärt Carlone laut MIT.
Das Team will das System als Nächstes über Objekte und Orte hinaus erweitern und auch bedeutsame Ereignisse erfassen.
