idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
idw - Informationsdienst
Wissenschaft
- Forschende kombinieren Bilderkennung in 3D mit Sprachmodellen.
- Die künstliche Intelligenz kann in jedem beliebigen Roboter eingesetzt werden.
- Roboter berechnet permanent Wahrscheinlichkeiten.
Ein Roboter, der auf Zuruf verlorene Gegenstände aufzuspüren kann – das ist die neueste Entwicklung an der Technischen Universität München (TUM). Er verknüpft dafür Wissen aus dem Internet und eine räumlichen Umgebungskarte, um gesuchte Objekte effizient zu finden.
Der neue Roboter aus dem TUM Learning Systems and Robotics Lab von Prof. Angela Schoellig sieht aus wie ein fahrbarer Besenstil, an dessen oberen Ende eine Kamera montiert ist. Er ist einer der ersten Roboter, der Bildverständnis nicht nur integriert, sondern für eine klar definierte Aufgabe nutzt.
Um etwa eine verlegte Brille in der Küche zu finden, muss sich der Roboter umsehen und ein dreidimensionales Bild des Raumes aufbauen. Die Kamera liefert zunächst zweidimensionale Bilder, deren Bildpunkte jedoch zusätzlich Tiefeninformationen enthalten. So entsteht ein zentimetergenaues räumliches Bild der Umgebung, das ständig aktualisiert wird. Ein Laptop versorgt den Roboter zusätzlich mit Informationen dazu, welche Gegenstände auf dem Bild zu sehen sind und welche Bedeutung sie für den Menschen haben.
„Wir haben dem Roboter beigebracht, die Umgebung zu verstehen“, sagt Prof. Angela Schoellig. Die Vision der Leiterin des Robotik-Labs im TUM-Lehrstuhl für Sicherheit, Performanz und Zuverlässigkeit für lernende Systeme ist, Roboter zu entwickeln, die sich selbständig in beliebigen Umgebungen zurechtfinden. Humanoide Roboter, die in Fabriken arbeiten, oder Roboter in der Pflege, die sich in unterschiedlichen Wohnungen aufhalten, erfordern dieses neu entwickelte Grundverständnis, das „für alle Roboter wichtig ist, die sich in Räumen bewegen, die sich ständig verändern“, wie Schoellig sagt.
Internetwissen in Sprache des Roboters umgewandelt
Dem Roboter ist also klar, dass etwa ein Tisch oder eine Fensterbank dafür genutzt werden, eine Brille kurz abzulegen, während eine Herdplatte oder Spülbecken dafür eher nicht in Frage kommen. „Das Sprachmodell spielt die Beziehungen zwischen den Objekten ein und wir wandeln diese Informationen in die Sprache des Roboters um“, erläutert Prof. Schoellig. Auf der dreidimensionalen Karte der Umgebung erscheinen kleine zweistellige Zahlen, die ständig neu beziffern, wie wahrscheinlich es ist, dass sich der gesuchte Gegenstand dort befindet. Daraufhin fährt der Roboter die wahrscheinlichen Orte um fast 30 Prozent effizienter ab, als wahllos im Raum zu suchen, so die Forschungsergebnisse. Künstliche Intelligenz kommt also gleich doppelt zum Einsatz, einerseits in der Bilderkennung, andererseits durch den Einsatz eines Sprachmodells.
Weiterer Trick des Roboters: Er merkt sich alte Bilder und ist in der Lage, sie mit neuen Bildern der Umgebung zu vergleichen. Befindet sich also plötzlich ein neuer Gegenstand in der Küche, erkennt er diese Veränderung sehr sicher (95 Prozent) und diese Regionen sind schon mal als „hoch wahrscheinlich“ für die Suche vorgemerkt.
Nächster Schritt: Die Suche hinter Schranktüren
Im nächsten Schritt will die TUM-Wissenschaftlerin und Vorständin im Munich Institute of Robotics and Machine Intelligence (TUM MIRMI) auch Gegenstände suchen, die sich in einer Schublade oder hinter einer Tür befinden. Dafür wird der Roboter allerdings nicht „nur“ auf Wissen aus dem Internet zurückgreifen, sondern mit der Umgebung interagieren müssen. Roboterarme und -hände müssen einen Wandschrank öffnen und verstehen, ob er sich nach oben oder zur Seite öffnen lässt und wie er den jeweiligen Griff am besten anfassen sollte.
Weitere Informationen:
- Prof. Angela Schoellig ist Vorständin im Munich Institute of Robotics and Machine Intelligence (TUM MIRMI). Das Institut ist ein auf Robotik und KI fokussiertes integratives Forschungsinstitut der Technischen Universität München (TUM). TUM MIRMI verfügt über führende Expertise auf zentralen Gebieten der Robotik, zum Beispiel Perzeption und Data Science. Knapp 80 TUM-Lehrstühle sind im MIRMI vernetzt, um innovative robotische und KI-unterstützte Lösungen für Umwelt, Gesundheit, Mobilität, Arbeit und nicht zuletzt Sicherheit und Verteidigung zu entwickeln. Geleitet wird TUM MIRMI von Prof. Lorenzo Masia. Weitere Informationen finden Sie unter https://www.mirmi.tum.de/.
- Eine Demo des Suchroboter ist bis Freitag auf dem German Robotics Congress in Köln zu sehen: https://robotics-institute-germany.de/event/grc/
Zusätzliche Materialien für die Medien:
- Fotos zum Download: https://mediatum.ub.tum.de/1846659
- Wissenschaftliches Video: https://utiasdsl.github.io/semi-static-semantic-exploration/
Prof. Angela Schoellig
Lehrstuhl für Sicherheit, Performanz und Zuverlässigkeit für lernende Systeme
Technische Universität München (TUM)
angela.schoellig@tum.de
Where did I leave my glasses? Open-Vocabulary Semantic Exploration in Real-World Semi-Static Environments; Benjamin Bogenberger, Oliver Harrison, Orrin Dahanaggamaarachchi, Lukas Brunke, Jingxing Qian, Siqi Zhou, Angela P. Schoellig; IEEE Robotics and Automation Letters, 3. März 2026; https://ieeexplore.ieee.org/document/11359697
Merkmale dieser Pressemitteilung:
Journalisten, Wissenschaftler
Elektrotechnik, Informationstechnik, Mathematik
überregional
Forschungsergebnisse
Deutsch
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).
