idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
- Durch den Einsatz eines Avatars sinkt bei Patientinnen und Patienten der Stress während einer autonomen Ultraschalluntersuchung.
- Der Avatar beantwortet während einer Ultraschalluntersuchung Fragen in beliebigen Sprachen.
- Anwenderinnen und Anwender sehen den Avatar durch eine VR-Brille.
Patientinnen und Patienten fassen mehr Vertrauen in autonome robotische Ultraschallsysteme, wenn sie von einem Avatar angeleitet werden. Das hat Prof. Nassir Navab von der Technischen Universität München (TUM) herausgefunden. Der virtuelle Agent erläutert, was er tut, beantwortet Fragen und kann in beliebigen Sprachen sprechen. Zum Einsatz kommen sollen derartige Systeme besonders in Regionen, in denen es an Ärztinnen und Ärzten mangelt.
Ein großer Bildschirm, eine Virtual-Reality-Brille, ein Roboterarm mit Ultraschallkopf und ein leistungsfähiger Rechner: Das ist die Ausstattung, die TUM-Forscher Tianyu Song aus dem Lehrstuhl für Informatikanwendungen in der Medizin für die autonome Untersuchung der Aorta, der Halsschlagader oder der Arterie im Unterarm benötigt. Damit Patientinnen und Patienten Vertrauen in das autonome technische System fassen, haben Forschende nun eine virtuelle Umgebung geschaffen. Darin übernimmt ein Avatar die Aufgabe, durch die Untersuchung zu führen. Nachdem die Patientinnen und Patienten eine VR-Brille aufsetzen, erscheint er vor ihren Augen, übernimmt die Gesprächsführung und beantwortet Fragen. „Das macht den ganzen Prozess menschlicher und freundlicher“, sagt der Leiter des Lehrstuhls Prof. Nassir Navab, „und es reduziert nachweislich den Stress bei Nutzerinnen und Nutzern von autonomen Systemen.“
Virtuelle Umgebung senkt den Stresslevel der Behandelten
Um das herauszukriegen, verglichen die Forschenden den Stresspegel von 14 jungen wie älteren, weiblichen wie männlichen Personen miteinander. Drei der vier Szenarien sind mehr oder weniger virtuell unterstützt. Einmal kommt ein Avatar in realem Umfeld zum Einsatz, einmal in einem virtuellen Umfeld, in dem reale Elemente eingeblendet werden und einmal in einer durchweg virtuellen Umgebung. Verglichen wurden sie mit einer Avatar-freien, rein realen Variante. Die Forschenden verkabelten die Probandinnen und Probanden mit Sensoren für ein Elektrokardiogramm (EKG) und leiteten daraus die Herzfrequenzvariabilität ab. „Je mehr dieser Wert während der Behandlung absinkt, umso höher ist der Stresslevel des jeweiligen Behandelten“, erläutert Forscher Song. Das Ergebnis: Alle drei virtuell unterstützen Szenarien erwiesen sich als eindeutig stressärmer als die nicht-virtuelle Behandlung.
Auf die Frage, welchem der drei virtuell unterstützten Szenarien sie am meisten vertrauten und welches sich am besten anfühlte, setzte sich der Avatar in realem Umfeld durch. „Deshalb setzen wir ihn nun auch für Vorführungen ein“, sagt Professor Navab, dessen Forschungen die Bayerische Forschungsstiftung im Rahmen des Forschungsprojektes ForNeRo (kurz für Forschungsverbund – Nahtlose und ergonomische Integration der Robotik in den klinischen Arbeitsablauf) unterstützt.
Large Language Model spricht Akzente
Der Hauptgrund für den verringerten Stress der Behandelten ist der Avatar, der in den Demonstrationen des Lehrstuhls meist eine weibliche Stimme hat und durch die Untersuchung führt. Er hält den Ultraschallkopf in der Hand und führt ihn zum Arm. Zudem spricht er mit dem Patienten. Damit dies möglich wird, wandelt eine Software die Fragen des Behandelten in Text um, ehe ein Large Language Model auf Basis von vorformulierten Anweisungen geeignete Antworten findet, die dann wiederum in gesprochene Worte umgewandelt werden. „Ein wichtiger Vertrauensbeweis ist nicht zuletzt, dass der Avatar nicht nur verschiedene Sprachen spricht, sondern auch regionale Akzente“, sagt Forscher Song. So kann das Sprachmodell zum Beispiel mit österreichischem Akzent sprechen oder aber Deutsch mit amerikanischem Akzent. Der Avatar kann zusätzlich nonverbal kommunizieren. Er gestikuliert, legt kurzen Pausen in den Sätzen ein und wendet sich Patientinnen und Patienten zu, wenn sie sprechen.
Weitere Informationen
- Forschungsprojekt ForNeRo: https://fornero.ed.tum.de/
Zusatzinformationen für Redaktionen:
- Fotos zum Download: https://mediatum.ub.tum.de/1796709
Prof. Nassir Navab
Lehrstuhl für Informatikanwendungen in der Medizin
Technische Universität München (TUM)
nassir.navab@tum.de
Tianyu Song , Felix Pabst, Ulrich Eck, Nassir Navab; Enhancing Patient Acceptance of Robotic Ultrasound
through Conversational Virtual Agent and Immersive Visualizations; IEEE Transactions on Visualization and Computer Graphics, 5-2025; https://ieeexplore.ieee.org/document/10916942
Criteria of this press release:
Journalists, Scientists and scholars, all interested persons
Information technology, Medicine
transregional, national
Miscellaneous scientific news/publications, Research results
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
