idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
idw - Informationsdienst
Wissenschaft
Gastprofessor für Kognitive Neurowissenschaft an der Freien Universität Berlin nutzte für Untersuchung Sprachmodelle, wie sie auch ChatGPT zugrunde liegen
Große Sprachmodelle (Large Language Models, LLMs) aus der Künstlichen Intelligenz können vorhersagen, wie das menschliche Gehirn auf visuelle Reize reagiert. Das zeigt eine neue Studie von Prof. Dr. Adrien Doerig (Freie Universität Berlin) gemeinsam mit Kolleg*innen der Universitäten Osnabrück, Minnesota und Montréal. Die Studie wurde unter dem Titel „High-level visual representations in the human brain are aligned with large language models“ in Nature Machine Intelligence veröffentlicht.
Für die Untersuchung verwendeten die Forschenden LLMs, wie sie auch den Systemen hinter ChatGPT zugrunde liegen.
Wenn wir die Welt betrachten, erkennt unser Gehirn nicht nur Objekte wie „einen Baum“ oder „ein Auto“ – es erfasst auch Bedeutungen, Beziehungen und Kontexte. Bisher fehlten der Wissenschaft jedoch geeignete Werkzeuge, um dieses hochabstrakte visuelle Verständnis zu erfassen und vergleichend zu analysieren. In der neuen Studie nutzte das Forschungsteam unter Leitung des Kognitiven Neurowissenschaftlers Prof. Dr. Adrien Doerig (Gastprofessor am Cognitive Computational Neuroscience Lab der Freien Universität Berlin) große Sprachmodelle, um sogenannte „semantische Fingerabdrücke“ aus Szenenbeschreibungen zu extrahieren.
Diese semantischen Fingerabdrücke nutzten die Forschenden, um funktionelle MRT-Daten zu modellieren, die beim Betrachten von Alltagsbildern aufgezeichnet wurden – darunter Szenen wie „Kinder, die auf dem Schulhof Frisbee spielen“ oder „ein Hund, der auf einem Segelboot steht“. Die Verwendung von LLM-Repräsentationen ermöglichte es dem Team, die Gehirnaktivitäten vorherzusagen – und sogar allein anhand der Bildgebung rückzuschließen, was die Versuchspersonen gesehen haben.
Um diese semantischen Fingerabdrücke direkt aus den Bildern vorhersagen zu können, trainierte das Team zusätzlich Computervisionsmodelle. Diese Modelle – geleitet durch sprachliche Repräsentationen – stimmten besser mit den gemessenen Gehirnaktivitäten überein als viele der derzeit besten Bildklassifikationssysteme.
„Unsere Ergebnisse deuten darauf hin, dass menschliche visuelle Repräsentationen die Art und Weise widerspiegeln, wie moderne Sprachmodelle Bedeutung darstellen – und eröffnen neue Perspektiven sowohl für die Neurowissenschaft als auch für die KI“, sagt Prof. Dr. Adrien Doerig.
Prof. Dr. Adrien Doerig, Fachbereich Erziehungswissenschaft und Psychologie, E-Mail: adrien.doerig@fu-berlin.de
https://www.nature.com/articles/s42256-025-01072-0
Der Neurowissenschaftler Adrien Doerig ist Gastprofessor für Kognitive Neurowissenschaft an der Frei ...
Source: Joëlle Schwitguébel
Criteria of this press release:
Journalists, Scientists and scholars, all interested persons
Biology, Information technology, Psychology
transregional, national
Research results, Scientific Publications
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
