idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Online-Treffen und Videokonferenzen sind inzwischen alltäglich, doch noch immer unterscheiden sie sich stark von realen Zusammenkünften. Häufig gehen zwischenmenschliche Aspekte verloren, die Teilnehmer ermüden schneller und sind kognitiv stärker belastet. In einem mehrjährigen Forschungsprojekt haben die Consensive GmbH aus Weimar, die Brandenburg Labs GmbH aus Ilmenau sowie die Technische Universität Ilmenau erforscht, wie Extended Reality (XR)-Telepräsenzsysteme Abhilfe schaffen können. Die Ergebnisse wurden am 21. August 2025 in Weimar in der Galerie Eigenheim vorgestellt. Die Partner des Projekts wollen die Ergebnisse für die Entwicklung zukünftiger Technologien verwenden.
Den beteiligten Projektpartnern ist es gelungen, ein 3D-Kommunikations-
systems zu entwickeln, welches Co-Präsenz bei Online-Treffen ermöglicht. Unter Co-Präsenz wird verstanden, dass die Teilnehmer das Gefühl haben, mit einer Person im selben Raum zu sein und mit ihr natürlich kommunizieren zu können, obwohl sie sich nicht dort befindet.
Der Schlüssel dazu sind Extended Reality-Technologien (XR), mit denen die wahrgenommene Realität computergestützt ergänzt und erweitert wird. Dazu wurden im Projekt MULTIPARTIES realitätsnahe 3D-Avatare der Personen mit ausdrucksstarker Gestik und Mimik sowie räumlich plausibles Audio nahtlos in die reale Umgebung integriert. Ebenso wurden die realen Umgebungen der Teilnehmer miteinander verwoben, was einen gemeinsamen Erlebnisraum schafft. Teilnehmern der MULTIPARTIES-Treffen ist es damit möglich, sich ortsübergreifend in einer gemeinsamen Umgebung zu treffen, sich natürlich zu verständigen und intuitiv miteinander zu interagieren.
Während der Ergebnispräsentation in Weimar konnten sich die rund 20 Gäste und Vertreter der Projektpartner selbst davon überzeugen, wie innerhalb von MULTIPARTIES-Treffen der Eindruck entsteht, sich mit den anderen Gesprächspartnern tatsächlich zu treffen. Für die Demonstration wurde ein Online-Meeting mit Gruppen von Teilnehmern aus Weimar, Ilmenau, Aachen und Lübeck durchgeführt. Die Teilnehmer trafen sich in einem virtuellen Raum, der aus Repräsentationen der realen Räume aller Teilnehmer zusammengesetzt war. Sie waren nicht, wie es von herkömmlichen Online-Meetings bekannt ist, per Kamerabild zugeschaltet, sondern trugen VR-Brillen, um den Raum immersiv zu erleben.
Darin waren sie als Avatar repräsentiert und konnten sich im virtuellen Raum frei bewegen, interagieren und sogar Hände schütteln. Über Kopfhörer erhielten sie in Echtzeit eine äußerst plausible Wiedergabe räumlichen Klangs, die es erlaubt, Untergruppen zu bilden oder sich zum Gesprächspartner zu lehnen und ihm zuzuflüstern. Das System basiert auf der VR4More Plattform der Consensive GmbH und der Deep Dive-Audio-Technologie von Brandenburg Labs.
„Mit dem Projekt sind wir dem Ziel nähergekommen, digitale Arbeits- und Kommunikationsprozesse zu verbessern, weil sie natürlicher werden. MULTIPARTIES ist ein wichtiger Meilenstein, um Barrieren in Videokonferenzen abzubauen und mehr soziale Nähe zu schaffen. Damit öffnen wir auch Freiraum für neue Möglichkeiten der gesellschaftlichen Teilhabe“, resümiert Prof. Dr.-Ing. Karlheinz Brandenburg, CEO von Brandenburg Labs.
Alle Partner des Projekts wollen die Ergebnisse für die Entwicklung zukünftiger Technologien verwenden. Bei Brandenburg Labs fließen die Ergebnisse in die Weiterentwicklung der fortschrittlichen Kopfhörerprodukte der Okeanos-Serie ein. Ebenso sind Projekte im Zusammenhang mit Kommunikationstechnologien und KI-gestützte, volladaptive Kopfhörer geplant.
Die Consensive GmbH konnte im Projekt erfolgreich die Anschlussfähigkeit ihres Software Development Kits für Social-XR-Anwendungen evaluieren und alle geplanten Demonstratoren darauf basierend umsetzen. Diese sollen nun zu einem dauerhaft nutzbaren Demonstrator weiterentwickelt werden, um neue technische Möglichkeiten zu präsentieren und gezielt Kunden zu gewinnen. Im Projektverlauf entstanden experimentelle Schnittstellen zu Deep Dive Audio von Brandenburg Labs, zu externen Avatar-Systemen der TU Ilmenau sowie zu browserbasierten Softwarelösungen. Erkenntnisse aus dem Projekt fließen in die Weiterentwicklung der Kernmodule der Social-XR-Anwendung VR4more ein und werden künftig in allen kommerziellen Produkten von Consensive berücksichtigt. Die im Projekt demonstrierte ortsunabhängige und zugleich natürliche Interaktion kleiner Gruppen eröffnet neue Wertschöpfungspotenziale – etwa für Training und Fernunterstützung in der Industrie sowie für museale Bildung und hybride Fachkonferenzen.
Die TU Ilmenau war mit drei Fachgebieten am Projekt beteiligt und lieferte zentrale Bausteine für eine natürlichere Kommunikation in XR‑Meetings. Das Fachgebiet Virtuelle Welten und Digitale Spiele (VWDS) untersuchte, wie unterschiedliche Avatar-Darstellungen – von stilisierten bis zu realitätsnahen Repräsentationen mit erfasster Mimik und Gestik – die Wahrnehmung von Präsenz, Verständlichkeit und sozialer Nähe in XR‑Meetings beeinflussen. Ein besonderer Fokus lag dabei sowohl auf Interaktionen zwischen Personen, als auch auf Interaktionen mit der Umgebung, einschließlich der Bedienung kontextsensitiver Menüs, der gemeinsamen Nutzung virtueller Objekte sowie kollaborativer Arbeitswerkzeuge im geteilten Erlebnisraum. Darüber hinaus untersuchte das Fachgebiet VWDS die effiziente Generierung realitätsnaher Avatare. Dies beinhaltet die Erfassung relevanter Merkmale und die Anpassung der Bewegungsdaten an ein digitales Skelett (Rigging), um vorhandene Bewegungsabläufe übertragen und natürliches Kommunikationsverhalten zu ermöglichen.
Das Fachgebiet Elektronische Medientechnik (EMT) hat im Projekt erfolgreich ein Vorhersagemodell zur Wahrnehmung von räumlichen, immersiven Audio etabliert. Grundlegend dafür war die Entwicklung eines autonomen akustischen Messsystems zur akustisch hochqualitativen Erfassung der Raumakustik an unterschiedlichen realen Orten mit einer hohen räumlichen Auflösung für eine Vielzahl an Schallquellen und Hörerpositionen im Raum. Diese Datensätze, welche frei zugängliche sind, dienen der Datenanalyse durch im Projekt entwickelte Methoden des maschinellen Lernens. Mit den Ergebnissen von parallel dazu durchgeführten Hörtests zur Messung der räumlichen Audioqualität ist eine Vorhersage der Hörwahrnehmung basierend auf physikalisch, akustischen Daten möglich. Dieses findet seine Anwendung in der Anpassung der Audiowidergabe an die aktuell vorliegende akustische Umgebung, um eine nahtlose Integration von virtuellen Audioinhalten in die reale Umgebung zu gewährleisten.
Das Fachgebiet Audiovisuelle Technik (AVT) hat Aspekte der audiovisuellen Qualität und Quality of Experience untersucht, also des Qualitätserlebens aus Sicht der Nutzer der neuen MULTIPARTIES-Technologien. Dafür wurden in mehreren Nutzerstudien unterschiedliche visuelle Repräsentation miteinander verglichen, sowohl direkt anhand von Beurteilungen, als auch indirekt anhand des Verhaltens der Nutzerinnen und Nutzer während der Verwendung. Die Ergebnisse, inklusive eines Open Source Datensatzes ("AMIS: An Audiovisual Dataset for Multimodal XR Research"), wurden erfolgreich auf internationalen Konferenzen gezeigt. Erkenntnisse der Methodenentwicklung wurden zudem in die internationale Standardisierung im Rahmen der International Telecommunication Union, ITU-T Study Group 12 bzw. der Video Quality Experts Group (VQEG), eingebracht. Ziel ist es, allgemein und weltweit abgestimmte Verfahren zur Qualitätsbeurteilung von derartigen Extended Reality (XR)-Technologien zu entwickeln.
Prof. Karlheinz Brandenburg
+49 3677 8749075
khb@brandenburg-labs.com
Criteria of this press release:
Journalists, Scientists and scholars, all interested persons
Electrical engineering, Information technology, Media and communication sciences
transregional, national
Research projects, Research results
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
