idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
idw - Informationsdienst
Wissenschaft
- Forschende kombinieren Bilderkennung in 3D mit Sprachmodellen.
- Die künstliche Intelligenz kann in jedem beliebigen Roboter eingesetzt werden.
- Roboter berechnet permanent Wahrscheinlichkeiten.
Ein Roboter, der auf Zuruf verlorene Gegenstände aufzuspüren kann – das ist die neueste Entwicklung an der Technischen Universität München (TUM). Er verknüpft dafür Wissen aus dem Internet und eine räumlichen Umgebungskarte, um gesuchte Objekte effizient zu finden.
Der neue Roboter aus dem TUM Learning Systems and Robotics Lab von Prof. Angela Schoellig sieht aus wie ein fahrbarer Besenstil, an dessen oberen Ende eine Kamera montiert ist. Er ist einer der ersten Roboter, der Bildverständnis nicht nur integriert, sondern für eine klar definierte Aufgabe nutzt.
Um etwa eine verlegte Brille in der Küche zu finden, muss sich der Roboter umsehen und ein dreidimensionales Bild des Raumes aufbauen. Die Kamera liefert zunächst zweidimensionale Bilder, deren Bildpunkte jedoch zusätzlich Tiefeninformationen enthalten. So entsteht ein zentimetergenaues räumliches Bild der Umgebung, das ständig aktualisiert wird. Ein Laptop versorgt den Roboter zusätzlich mit Informationen dazu, welche Gegenstände auf dem Bild zu sehen sind und welche Bedeutung sie für den Menschen haben.
„Wir haben dem Roboter beigebracht, die Umgebung zu verstehen“, sagt Prof. Angela Schoellig. Die Vision der Leiterin des Robotik-Labs im TUM-Lehrstuhl für Sicherheit, Performanz und Zuverlässigkeit für lernende Systeme ist, Roboter zu entwickeln, die sich selbständig in beliebigen Umgebungen zurechtfinden. Humanoide Roboter, die in Fabriken arbeiten, oder Roboter in der Pflege, die sich in unterschiedlichen Wohnungen aufhalten, erfordern dieses neu entwickelte Grundverständnis, das „für alle Roboter wichtig ist, die sich in Räumen bewegen, die sich ständig verändern“, wie Schoellig sagt.
Internetwissen in Sprache des Roboters umgewandelt
Dem Roboter ist also klar, dass etwa ein Tisch oder eine Fensterbank dafür genutzt werden, eine Brille kurz abzulegen, während eine Herdplatte oder Spülbecken dafür eher nicht in Frage kommen. „Das Sprachmodell spielt die Beziehungen zwischen den Objekten ein und wir wandeln diese Informationen in die Sprache des Roboters um“, erläutert Prof. Schoellig. Auf der dreidimensionalen Karte der Umgebung erscheinen kleine zweistellige Zahlen, die ständig neu beziffern, wie wahrscheinlich es ist, dass sich der gesuchte Gegenstand dort befindet. Daraufhin fährt der Roboter die wahrscheinlichen Orte um fast 30 Prozent effizienter ab, als wahllos im Raum zu suchen, so die Forschungsergebnisse. Künstliche Intelligenz kommt also gleich doppelt zum Einsatz, einerseits in der Bilderkennung, andererseits durch den Einsatz eines Sprachmodells.
Weiterer Trick des Roboters: Er merkt sich alte Bilder und ist in der Lage, sie mit neuen Bildern der Umgebung zu vergleichen. Befindet sich also plötzlich ein neuer Gegenstand in der Küche, erkennt er diese Veränderung sehr sicher (95 Prozent) und diese Regionen sind schon mal als „hoch wahrscheinlich“ für die Suche vorgemerkt.
Nächster Schritt: Die Suche hinter Schranktüren
Im nächsten Schritt will die TUM-Wissenschaftlerin und Vorständin im Munich Institute of Robotics and Machine Intelligence (TUM MIRMI) auch Gegenstände suchen, die sich in einer Schublade oder hinter einer Tür befinden. Dafür wird der Roboter allerdings nicht „nur“ auf Wissen aus dem Internet zurückgreifen, sondern mit der Umgebung interagieren müssen. Roboterarme und -hände müssen einen Wandschrank öffnen und verstehen, ob er sich nach oben oder zur Seite öffnen lässt und wie er den jeweiligen Griff am besten anfassen sollte.
Weitere Informationen:
- Prof. Angela Schoellig ist Vorständin im Munich Institute of Robotics and Machine Intelligence (TUM MIRMI). Das Institut ist ein auf Robotik und KI fokussiertes integratives Forschungsinstitut der Technischen Universität München (TUM). TUM MIRMI verfügt über führende Expertise auf zentralen Gebieten der Robotik, zum Beispiel Perzeption und Data Science. Knapp 80 TUM-Lehrstühle sind im MIRMI vernetzt, um innovative robotische und KI-unterstützte Lösungen für Umwelt, Gesundheit, Mobilität, Arbeit und nicht zuletzt Sicherheit und Verteidigung zu entwickeln. Geleitet wird TUM MIRMI von Prof. Lorenzo Masia. Weitere Informationen finden Sie unter https://www.mirmi.tum.de/.
- Eine Demo des Suchroboter ist bis Freitag auf dem German Robotics Congress in Köln zu sehen: https://robotics-institute-germany.de/event/grc/
Zusätzliche Materialien für die Medien:
- Fotos zum Download: https://mediatum.ub.tum.de/1846659
- Wissenschaftliches Video: https://utiasdsl.github.io/semi-static-semantic-exploration/
Prof. Angela Schoellig
Lehrstuhl für Sicherheit, Performanz und Zuverlässigkeit für lernende Systeme
Technische Universität München (TUM)
angela.schoellig@tum.de
Where did I leave my glasses? Open-Vocabulary Semantic Exploration in Real-World Semi-Static Environments; Benjamin Bogenberger, Oliver Harrison, Orrin Dahanaggamaarachchi, Lukas Brunke, Jingxing Qian, Siqi Zhou, Angela P. Schoellig; IEEE Robotics and Automation Letters, 3. März 2026; https://ieeexplore.ieee.org/document/11359697
Criteria of this press release:
Journalists, Scientists and scholars
Electrical engineering, Information technology, Mathematics
transregional, national
Research results
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
