idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Wo der Sinn von Wörtern und Sätzen sein zu Hause hat
Fatma Deniz und Klaus Obermayer forschen zur Sprachverarbeitung bei bilingualen Menschen
Was geschieht im Gehirn eines Englisch und Spanisch sprechenden Menschen, wenn er „Alice in Wonderland“ einmal in Englisch und dann in Spanisch liest? Oder was bei einem Englisch als auch Chinesisch sprechenden Menschen? Werden die gleichen Hirnareale aktiviert – gleich, ob die Passage im Englischen, Spanischen oder im Chinesischen gelesen wird, oder werden beim Lesen des gleichen Textes in chinesischer Sprache andere Hirnareale angeregt als das beim Lesen in Spanisch und/oder in Englisch geschieht? „Wir wissen es nicht“, sagt Dr. Fatma Deniz. Aber genau diese Fragen sind Gegenstand ihres neuen Forschungsprojektes „Sprachrepräsentationen bei zweisprachigen Menschen“ („Language representations in bilinguals“), in dem Neurowissenschaftler, Computerlinguisten und Informatiker der TU Berlin und der University of California, Berkeley zusammenarbeiten werden.
Wo „sitzen“ Semantik und Syntax auf dem Kortex?
„Wir wollen erforschen, wie die Semantik, also die Bedeutung von Wörtern und Sätzen, und die Syntax, also die Regeln, nach denen Wörter zu Sätzen zusammengesetzt werden, in der Großhirnrinde von zweisprachigen Menschen dargestellt werden. Dafür untersuchen wir komplexe Hirndaten, die mit Hilfe von bildgebenden Verfahren wie der funktionellen Magnetresonanztomographie (MRT) aufgenommen wurden und modellieren diese mit Hilfe von computergestützten Methoden aus der Informatik. Mit diesem Ansatz können etwa die Gehirnaktivierungen in bestimmten Gehirnregionen, die die Bedeutung von Wörtern verarbeiten, mit Hilfe von Modellen vorhergesagt werden“, sagt die Neurowissenschaftlerin und Informatikerin. Sie ist Nachwuchsgruppenleiterin dieses Projektes und arbeitet an der TU Berlin und der University of California, Berkeley (USA).
Lesen bildet, hören aber auch
Dieses Forschungsprojekt baut auf den Ergebnissen ihrer Untersuchungen aus den Jahren 2016 bis 2019 in Berkeley auf, als sie und ihre Kollegen herausfanden, dass es bei der Bedeutungsverarbeitung von Wörtern und Sätzen für das Gehirn kaum einen Unterschied macht, ob ein Text gelesen oder gehört wird. Oder anders ausgedrückt: Wenn Lesen bildet, dann hören auch.
Neun Probanden im Alter zwischen 25 und 35 Jahren hatten zuerst Texte leise gelesen (jeder las die gleichen Texte) und genau diese Texte dann noch einmal zu hören bekommen. Während des Lesens und Hörens erfassten die Wissenschaftlerinnen mit Hilfe der funktionellen Magnetresonanztomographie die Gehirnaktivitäten. Zuvor war die Bedeutung von jedem Wort mit Hilfe der natürlichen Sprachverarbeitung (Natural Language Processing) – eines Teilgebietes der Künstlichen Intelligenz – codiert worden, sodass die Bedeutung des gelesenen beziehungsweise gehörten Wortes mit einem Gehirnsignal in Verbindung gebracht werden und auf dem Gehirn verortet werden konnte. Mit Hilfe des maschinellen Lernens clusterten die Wissenschaftlerinnen die modellierten Gehirndaten nach Konzepten wie visuell, taktil, numerisch, lokal, gewalttätig, emotional, temporal und so weiter. So aktivieren jene Wörter des Bedeutungsclusters sozial, zu denen Wörter wie Vater, Mutter, Sohn, Tochter, Kind, Oma, Opa gehören, unter anderem das Gehirnareal im temporoparietale Übergang, in dem sich die temporalen und parietalen Lappen treffen, oder Wörter des Bedeutungsclusters Körperteil, zu denen Wörter wie Lippen, Arm, Fuß, Nacken, Schädel, Bauch, Glied gehören, überwiegend das Gehirnareal im hinteren Bereichen des Gehirns im visuellen Kortex.
Interaktive Landkarte der Wortbedeutungen in 3D
„Als wir dann die Daten der Gehirnaktivität beim Lesen und mit denen beim Hören verglichen, stellten wir fest, dass es für die Bedeutungsverarbeitung der Wörter und Sätze im Gehirn keinen Unterschied macht, ob sie gelesen oder gehört wurden. Die Bedeutungsverarbeitung findet bei beiden Fähigkeiten in den gleichen Gehirnregionen statt. Das hatten wir so nicht erwartet“, resümiert Dr. Fatma Deniz. Die Ergebnisse visualisierte sie in einer interaktiven 3D-Karte des Gehirns: https://www.gallantlab.org/brainviewer/Deniz2019. Diese zeigt, welche Bedeutungscluster welche Gehirnareale aktivieren. Entstanden ist so eine Landkarte von Wort- und Satzbedeutungen auf dem menschlichen Kortex. „Mit diesem Ansatz können etwa die Gehirnaktivierungen in bestimmten Gehirnregionen, die die Bedeutung von Wörtern verarbeiten, mit Hilfe von Modellen vorhergesagt werden“, so Fatma Deniz.
Ihre Erkenntnisse sind zum Beispiel für Schlaganfall-Patienten, deren Sprachzentrum verletzt wurde, von Bedeutung oder für Legastheniker. „Sollte sich zeigen, dass das Gehirn eines Legasthenikers beim Hören von Texten keinerlei Einschränkungen bei der Bedeutungsverarbeitung aufweist, könnte zum Beispiel durch den Einsatz von mehr Audiomaterial im Unterricht die Lernleistungen der betroffenen Kinder unterstützt werden“, sagt die Wissenschaftlerin. Umgekehrt wäre es wichtig, sich die „Bedeutungslandkarten“ des Gehirns beim Lesen und Hören von Menschen mit auditiven Verarbeitungsstörungen anzuschauen.
Erkenntnisse für die Forschungen zu Künstlicher Intelligenz
Ging es in ihrer vorherigen Studie um die Bedeutungsverarbeitung von Sprache bei monolingualen Menschen während des Lesens und Hörens, untersucht sie jetzt die Bedeutungsverarbeitung bei bilingualen Menschen. „Es wird spannend sein zu sehen, ob im Englischen, Chinesischen, Spanischen die gleichen semantischen Landkarten auf dem Gehirn entstehen oder ganz andere“, so die passionierte Cello-Spielerin. Mit ihrer neuen Studie möchte Fatma Deniz weitere Erkenntnisse über die Sprachverarbeitung im Gehirn gewinnen, die dann wiederum Anwendung finden könnten in den Forschungen auf dem Gebiet der Künstlichen Intelligenz.
Das Projekt, das sie zusammen mit TU-Professor Dr. Klaus Obermayer, Leiter des Fachgebietes Neuronale Informationsverarbeitung eingeworben hat, wird im Rahmen der transnationalen Initiative „Bilaterale Zusammenarbeit in Computational Neuroscience: Deutschland – USA“ zur Forschungsförderung zwischen Deutschland und den USA mit 1,7 Millionen Euro finanziert. Die Initiative ist eine Zusammenarbeit vom Bundesministerium für Bildung und Forschung und von der amerikanischen Förderorganisation National Science Foundation.
Weitere Informationen erteilt Ihnen gern:
Dr. Fatma Deniz
TU Berlin und University of California, Berkeley
Fachgebiet Neuronale Informationsverarbeitung
E-Mail: deniz@tu-berlin.de
Criteria of this press release:
Journalists, Scientists and scholars, Students
Information technology, Language / literature
transregional, national
Cooperation agreements, Research projects
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
