idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
idw - Informationsdienst
Wissenschaft
Ein Paper von Forschenden der Abteilung „Vision and Imaging Technologies“ (VIT) des Fraunhofer Heinrich-Hertz-Instituts (HHI) wurde beim CVPR 2023 Workshop for Event-based Vision angenommen. Der weltweit renommierte Workshop behandelt neuartige eventbasierte Kameras und Algorithmen, die im Gegensatz zu herkömmlichen Kameras deutlich energiesparender, lichtempfindlicher und dynamischer sind. Die Arbeit „X-maps: Direct Depth Lookup for Event-based Structured Light Systems” untersucht die Nutzung eventbasierter Kameras, um Latenzzeiten in Mixed-Reality-Umgebungen zu minimieren und die Nutzungserfahrung zu verbessern.
Eventbasierte Kameras nehmen im Gegensatz zu herkömmlichen Kameras keine kompletten Bilder auf, die dann zeit- und energieaufwendig verarbeitet und gespeichert werden müssen. Stattdessen erzeugen sie kontinuierliche Pixelströme mit einer zeitlichen Auflösung im Mikrosekundenbereich. Diese grundlegend andere Art der Signalerzeugung bringt einige Vorteile mit sich: Eventbasierte Kameras besitzen einen hohen Dynamikbereich, und sehr niedrige Latenzen. Aufgrund dieser Eigenschaften eröffnen sie Möglichkeiten, die mit herkömmlichen Kameras (die in den letzten 60 Jahren die wichtigste Sensortechnologie darstellten) undenkbar sind.
Insbesondere durch die geringen Latenzzeiten sind diese neuen Sensoren für die Anwendung in Mixed-Reality-Technologien (XR) interessant, wo bereits minimale Verzögerungen in der Bildverarbeitung die User Experience stark negativ beeinflussen können.
In ihrem Paper untersuchen die Fraunhofer HHI Forschenden die Kombination einer eventbasierten Kamera mit einem Beamer zur Echtzeit-Tiefenschätzung für Spatial-Augmented Reality-Anwendungen (SAR). SAR wird auch als projektionsbasierte Augmented Reality bezeichnet und beschreibt die Überlagerung von virtuellen Inhalten auf die physische Umgebung durch Projektion. Dadurch können immersive, interaktive und eindrucksvolle Erfahrungen in unterschiedlichen Anwendungsgebieten wie Industrie, Kultur oder Gesundheitswesen geschaffen werden. Dabei sind interaktives Feedback und hohe Frame-Raten essentiell.
In den Untersuchungen der Forschenden wird die 3D-Struktur der projizierten Fläche mithilfe der eventbasierten Kamera gemessen. Dabei wird die Projektion automatisch angepasst. Dieser Prozess passiert so schnell, dass für das menschliche Auge nur ein kohärentes Bild ersichtlich ist und keine zeilenweise Erscheinung des Bildes. Daher ist eine Anpassung der Projektion auch bei dynamischen Szenen mit mobilen Elementen möglich. Diese Technik könnte beispielsweise außerhalb der XR bei Nutzung eines Beamers auf einer krummen Projektionsfläche genutzt werden, um die Projektion in Echtzeit auf die Fläche anzupassen. Zusätzlich werden in dem Paper neue Verfahren zur schnellen Verarbeitung der detektierten Gegenstände und Events sowie zur Kalibrierung nichtlinearen Verhaltens vorgestellt.
Martina Müller
Pressekontakt
Telefon +49 30 31002 242
E-Mail martina.mueller@hhi.fraunhofer.de
Anna Hilsmann
Technischer Kontakt
Telefon +49 30 31002-569
E-Mail: anna.hilsmann@hhi.fraunhofer.de
https://tub-rip.github.io/eventvision2023/papers/2023CVPRW_X-Maps_Direct_Depth_L...
https://tub-rip.github.io/eventvision2023/
Tiefeneinschätzung mit einer eventbasierten Kamera und einem Beamer.
© Fraunhofer HHI
Merkmale dieser Pressemitteilung:
Journalisten, Wirtschaftsvertreter, Wissenschaftler
Elektrotechnik, Informationstechnik, Medien- und Kommunikationswissenschaften
überregional
Forschungsergebnisse, Wissenschaftliche Publikationen
Deutsch
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).
