idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Fraunhofer IAIS und Stiftung Haus der Geschichte der Bundesrepublik Deutschland starten Forschungsprojekt zur Emotionserkennung in Zeitzeugeninterviews: Persönliche, oft emotionale Erzählungen von Zeitzeuginnen und Zeitzeugen bieten einen eindrücklichen Zugang zu Geschichte und historischen Ereignissen. Dafür stellt die Stiftung »Haus der Geschichte« im Zeitzeugenportal über 8300 Interviewclips zu Themen wie Kriegsausbruch, Mauerfall oder die Zeit der DDR zur Verfügung. Bisher lässt sich das Portal im Internet nach Themen, Personen oder Zeiträumen filtern. Die Vision ist, dass die Erfahrungsberichte mit Hilfe von Künstlicher Intelligenz (KI) auch nach Emotionen durchsucht werden können.
Das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS und die Stiftung Haus der Geschichte haben dazu das Forschungsprojekt »Multimodales Mining von Zeitzeugeninterviews zur Erschließung von audiovisuellem Kulturgut« gestartet. War der Mauerfall ein ausnahmslos glückliches Ereignis oder begleiten auch Angst oder Wut die Erzählungen über die einschneidende Zäsur? Mit Hilfe von Maschinellem Lernen werden Algorithmen zur Emotionserkennung trainiert, um perspektivisch Fachleuten und geschichtsinteressierten Menschen eine gezielte Suche zu solchen Fragen auf www.zeitzeugen-portal.de zu ermöglichen.
Ziel des Projekts ist es, in den nächsten zwei Jahren einen Software-Prototypen zu entwickeln, um menschliche Emotionen in audiovisuellen Zeitzeugeninterviews erkennen zu können. Hierfür werden computergestützt u. a. das gesprochene Wort und das entsprechende Transkript, Stimmlage, Sprechgeschwindigkeit und Mimik des Sprechers analysiert. Die intelligente Videoanalyse nutzt dafür insbesondere Technologien der Spracherkennung, Bilderkennung und Texterkennung.
Zunächst laufen die Analyseprozesse getrennt ab, am Ende sollen die Verfahren jedoch miteinander kombiniert werden: Denn nicht immer kann eine Emotion auf Basis einer der genannten Modalitäten eindeutig von der KI erkannt werden. Eine Herausforderung für das Projektteam ist zum Beispiel das Erkennen von Zwischentönen, etwa wenn Sarkasmus die wahre Intention einer Aussage verschleiert. Hier muss das kommunikative Zusammenspiel von Mimik, Gestik und Tonalität berücksichtigt werden.
»KI soll uns helfen besser zu verstehen, welche Rolle Emotionen beim historischen Erinnern spielen«
Die KI wird mithilfe von maschinellen Lernverfahren (ML) auf künstlichen neuronalen Netzen trainiert. Dieses sogenannte Deep Learning eignet sich gut für die multimodale Sprach-, Text- und Bildverarbeitung. Entscheidend ist jedoch, dass ausreichend große Datenmengen für das Training zur Verfügung stehen. Das Projektteam steht hier vor einer weiteren Herausforderung: Zum einen tauchen einige Emotionen relativ selten in den Berichten auf, zum anderen ist die Audio- und Aufnahmequalität vieler Videos nicht gut genug, um sie von einer KI vollautomatisiert transkribieren lassen zu können und damit Daten zu generieren.
»Um diese schwierige Klassifikationsaufgabe zu lösen, werden verschiedene KI-basierte Analyseverfahren mit dem Wissen der Historiker und Historikerinnen kombiniert«, sagt Dr. Joachim Köhler, Abteilungsleiter NetMedia am Fraunhofer IAIS. Zusätzlich werden in einem Zwischenschritt die Ergebnisse der KI mit einer Beurteilung der Videoszenen durch Menschen abgeglichen. Diese Resultate und die jeweiligen Schlussfolgerungen werden dann wiederum in den Lernprozess des Modells eingebracht, sodass dieses stetig verbessert wird, bis die KI zunehmend selbstständig und zutreffend eine Emotionserkennung vornehmen kann – auch bei später neu hinzukommenden Interviews.
»In unserem Forschungsprojekt kommt Künstliche Intelligenz auf innovative und bisher einzigartige Weise im Museum und in der Geschichtswissenschaft zum Einsatz. Am Ende soll die KI uns dabei helfen besser zu verstehen, welche Rolle Emotionen beim historischen Erinnern spielen. Um die Erzählungen von Zeitzeuginnen und Zeitzeugen als historische Quellen bewerten und einordnen zu können, braucht es solche neuen Zugänge und Methoden. Denn es kommt nicht nur darauf an, was jemand erzählt, sondern vor allem, wie es erzählt wird«, sagt Dr. Ruth Rosenberger, Direktorin Digitale Dienste der Stiftung Haus der Geschichte.
Das Fraunhofer IAIS und die Stiftung Haus der Geschichte arbeiten seit Oktober 2020 in dem Projekt »Multimodales Mining von Zeitzeugeninterviews zur Erschließung von audiovisuellem Kulturgut« zusammen. Die Laufzeit des Projekts beträgt zwei Jahre und wird über die Beauftragte der Bundesregierung für Kultur und Medien aus Mitteln der KI-Strategie der Bundesregierung finanziert.
Über das Fraunhofer IAIS
Als Teil der größten Organisation für anwendungsorientierte Forschung in Europa ist das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS mit Sitz in Sankt Augustin bei Bonn eines der führenden Wissenschaftsinstitute auf den Gebieten Künstliche Intelligenz, Maschinelles Lernen und Big Data in Deutschland und Europa. Mit seinen rund 300 Mitarbeitenden unterstützt das Institut Unternehmen bei der Optimierung von Produkten, Dienstleistungen, Prozessen und Strukturen sowie bei der Entwicklung neuer digitaler Geschäftsmodelle. Damit gestaltet das Fraunhofer IAIS die digitale Transformation unserer Arbeits- und Lebenswelt.
Über die Stiftung Haus der Geschichte
Zur Stiftung Haus der Geschichte der Bundesrepublik Deutschland gehören vier Museen in drei deutschen Städten: das Haus der Geschichte in Bonn, das Zeitgeschichtliche Forum in Leipzig, der Tränenpalast und das Museum in der Kulturbrauerei in Berlin. An allen Standorten vermittelt die Stiftung deutsche Zeitgeschichte nach 1945 in Dauer- und Wechselausstellungen und in einem breit aufgestellten Veranstaltungs- sowie Bildungsprogramm. Parallel dazu betreibt die Stiftung ein umfängliches Online-Angebot.
Michael Gref, Projektleiter
michael.gref@iais.fraunhofer.de
https://www.iais.fraunhofer.de/de/presse/presseinformationen/presseinformationen... Pressemitteilung im Web
https://www.zeitzeugen-portal.de/ Zeitzeugenportal der Stiftung Haus der Geschichte
https://www.iais.fraunhofer.de/ Website des Fraunhofer IAIS
https://www.iais.fraunhofer.de/de/geschaeftsfelder/speech-technologies Geschäftsfeld Speech Technologies
Bisher lässt sich das Zeitzeugenportal nach Themen, Personen oder Zeiträumen filtern. Die Vision ist ...
Stiftung Haus der Geschichte
Ziel des Projekts ist es, einen Software-Prototypen zu entwickeln, der mit intelligenter Videoanalys ...
Jennifer Zumbusch
Criteria of this press release:
Journalists, Scientists and scholars, all interested persons
Cultural sciences, History / archaeology, Information technology, Social studies, Teaching / education
transregional, national
Miscellaneous scientific news/publications, Research projects
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
