idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Interdisziplinäres Forschungsteam hat einen Workflow entwickelt, der durch die Integration nicht-sprachlicher Informationen die Erforschung von Sprache und Kommunikation verbessern soll / Veröffentlichung in „Advances in Methods in Psychological Science“
Wissenschaftler*innen der Universität zu Köln und verschiedener europäischer Hochschulen aus der Linguistik, der Psychologie, der Phonetik und weiterer Disziplinen wollen die Erforschung von Sprache und Kommunikation transparenter gestalten und dabei nichtverbale Informationen stärker berücksichtigen. Dafür haben sie ein Rahmenkonzept erarbeitet, das die Erhebung multimodaler Daten und deren Analyse anleiten soll, dabei aber Raum lässt, den Forschungsprozess entsprechend der konkreten Forschungsfrage auszugestalten.
Die Studie wurde im Rahmen des Schwerpunktprogramms „Visuelle Kommunikation“ (ViCom) von der Deutschen Forschungsgemeinschaft (DFG) gefördert. Der Workflow wurde in der Studie mit dem Titel „Data Collection in Multimodal Language and Communication Research: A Flexible Decision Framework“ in der Fachzeitschrift „Advances in Methods in Psychological Science“ veröffentlicht.
Sprache und Kommunikation sind weit mehr als nur Worte oder Gebärden. Wenn Menschen kommunizieren, nutzen sie gleichzeitig Handgesten, Mimik, Blickbewegungen sowie vielfältige Kopf- und Körperbewegungen. In der Sprachwissenschaft bezeichnet man die verschiedenen Arten, wie Menschen Sprache oder Informationen ausdrücken und wahrnehmen, als Modalitäten. Signale aus unterschiedlichen Modalitäten – gesprochene Sprache, manuelle und nicht-manuelle Gestik und weitere bedeutungstragende Elemente – sind eng miteinander verzahnt und tragen gemeinsam zur Bedeutungsübermittlung bei. Die koordinierte Nutzung solcher Signale über verschiedene Modalitäten hinweg wird als Multimodalität bezeichnet. Bis weit in die 1980er- und 1990er-Jahre hinein wurde diese Komplexität in weiten Teilen der Sprachwissenschaften vernachlässigt, und der Fokus lag vor allem auf gesprochener oder geschriebener Sprache.
Ein Grund dafür war auch, dass wissenschaftliche Methoden oft Schwierigkeiten hatten, diese Komplexität angemessen zu erfassen. Multimodale Datensätze sind aufwendig, kostenintensiv und methodisch anspruchsvoll. Die Datenerhebung kann in sehr unterschiedlichen Forschungskontexten erfolgen – von klassischen, streng kontrollierten Laborexperimenten über die Erstellung umfangreicher multimodaler Korpora bis hin zu naturalistischen Feldstudien. Jede dieser Umgebungen bringt spezifische Abwägungen zwischen Präzision, Realitätsnähe und Skalierbarkeit mit sich, die Forschende bei der Planung berücksichtigen müssen.
Um diesen Herausforderungen zu begegnen, schlägt das interdisziplinäre Forschungsteam einen flexiblen Entscheidungsrahmen vor, der multimodale Forschung in drei zentrale Phasen gliedert: (1) Definition der Forschungsfrage, der untersuchten Population und des Studiendesigns; (2) Durchführung der Studie einschließlich technischer und ethischer Aspekte; sowie (3) Planung der Datennutzung und -weitergabe. Anstatt eine einzelne „beste“ Methode vorzuschreiben, soll der im Aufsatz spezifizierte Workflow Forscherinnen und Forschern einen Rahmen bieten und dabei helfen, transparente und nachvollziehbare Entscheidungen zu treffen, die auf ihre jeweiligen Forschungsziele zugeschnitten sind. „Multimodale Forschung ist immer mit Abwägungen verbunden“, erläutert die Erstautorin der Studie, Dr. Anastasia Bauer von der Universität zu Köln, die im Institut für Linguistik im Rahmen der Key Profile Area "Skills and Structures in Language and Cognition" (SSLAC) forscht. „Unser Ziel war es nicht, diese Abwägungen zu eliminieren, sondern sie sichtbar und handhabbar zu machen.“
Im Beitrag wird der vorgeschlagene Workflow anhand von drei exemplarischen Fallstudien veranschaulicht, die grundlegend unterschiedliche Forschungskontexte repräsentieren: ein kontrolliertes Laborexperiment, die Erstellung eines groß angelegten Gebärdensprachkorpus sowie Beobachtungen der Kommunikation nicht-menschlicher Primaten in der natürlichen Umgebung. Über methodische Aspekte hinaus adressiert der im Artikel beschriebene Workflow auch grundlegende Fragen der Forschungstransparenz, Ethik und Datenweitergabe im Kontext multimodaler Forschung. „Durch die systematische Dokumentation von Entscheidungen soll die Reproduzierbarkeit verbessert und die sinnvolle Nachnutzung multimodaler Datensätze erleichtert werden – von der Studienplanung über die Datenerhebung und -verwaltung bis hin zur Weitergabe der Daten“, sagt Bauer.
Presse und Kommunikation:
Mathias Martin
+49 221 470 1705
m.martin@verw.uni-koeln.de
Verantwortlich: Dr. Elisabeth Hoffmann – e.hoffmann@verw.uni-koeln.de
Dr. Anastasia Bauer
Institut für Linguistik
anastasia.bauer@uni-koeln.de
Prof. Dr. Petra Schumacher
Institut für deutsche Sprache und Literatur I
petra.schumacher@uni-koeln.de
„Data Collection in Multimodal Language and Communication Research: A Flexible Decision Framework“ in „Advances in Methods in Psychological Science“,
https://doi.org/10.1177/25152459261442338
https://vicom.info/
https://doi.org/10.6084/m9.figshare.32228727 Gebärdensprache-Video zur Studie, von Roman Poryadin
Criteria of this press release:
Journalists, Scientists and scholars, Students
Cultural sciences, Language / literature, Media and communication sciences
transregional, national
Research results, Scientific Publications
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
