idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Gastprofessor für Kognitive Neurowissenschaft an der Freien Universität Berlin nutzte für Untersuchung Sprachmodelle, wie sie auch ChatGPT zugrunde liegen
Große Sprachmodelle (Large Language Models, LLMs) aus der Künstlichen Intelligenz können vorhersagen, wie das menschliche Gehirn auf visuelle Reize reagiert. Das zeigt eine neue Studie von Prof. Dr. Adrien Doerig (Freie Universität Berlin) gemeinsam mit Kolleg*innen der Universitäten Osnabrück, Minnesota und Montréal. Die Studie wurde unter dem Titel „High-level visual representations in the human brain are aligned with large language models“ in Nature Machine Intelligence veröffentlicht.
Für die Untersuchung verwendeten die Forschenden LLMs, wie sie auch den Systemen hinter ChatGPT zugrunde liegen.
Wenn wir die Welt betrachten, erkennt unser Gehirn nicht nur Objekte wie „einen Baum“ oder „ein Auto“ – es erfasst auch Bedeutungen, Beziehungen und Kontexte. Bisher fehlten der Wissenschaft jedoch geeignete Werkzeuge, um dieses hochabstrakte visuelle Verständnis zu erfassen und vergleichend zu analysieren. In der neuen Studie nutzte das Forschungsteam unter Leitung des Kognitiven Neurowissenschaftlers Prof. Dr. Adrien Doerig (Gastprofessor am Cognitive Computational Neuroscience Lab der Freien Universität Berlin) große Sprachmodelle, um sogenannte „semantische Fingerabdrücke“ aus Szenenbeschreibungen zu extrahieren.
Diese semantischen Fingerabdrücke nutzten die Forschenden, um funktionelle MRT-Daten zu modellieren, die beim Betrachten von Alltagsbildern aufgezeichnet wurden – darunter Szenen wie „Kinder, die auf dem Schulhof Frisbee spielen“ oder „ein Hund, der auf einem Segelboot steht“. Die Verwendung von LLM-Repräsentationen ermöglichte es dem Team, die Gehirnaktivitäten vorherzusagen – und sogar allein anhand der Bildgebung rückzuschließen, was die Versuchspersonen gesehen haben.
Um diese semantischen Fingerabdrücke direkt aus den Bildern vorhersagen zu können, trainierte das Team zusätzlich Computervisionsmodelle. Diese Modelle – geleitet durch sprachliche Repräsentationen – stimmten besser mit den gemessenen Gehirnaktivitäten überein als viele der derzeit besten Bildklassifikationssysteme.
„Unsere Ergebnisse deuten darauf hin, dass menschliche visuelle Repräsentationen die Art und Weise widerspiegeln, wie moderne Sprachmodelle Bedeutung darstellen – und eröffnen neue Perspektiven sowohl für die Neurowissenschaft als auch für die KI“, sagt Prof. Dr. Adrien Doerig.
Prof. Dr. Adrien Doerig, Fachbereich Erziehungswissenschaft und Psychologie, E-Mail: adrien.doerig@fu-berlin.de
https://www.nature.com/articles/s42256-025-01072-0
Der Neurowissenschaftler Adrien Doerig ist Gastprofessor für Kognitive Neurowissenschaft an der Frei ...
Quelle: Joëlle Schwitguébel
Merkmale dieser Pressemitteilung:
Journalisten, Wissenschaftler, jedermann
Biologie, Informationstechnik, Psychologie
überregional
Forschungsergebnisse, Wissenschaftliche Publikationen
Deutsch
Der Neurowissenschaftler Adrien Doerig ist Gastprofessor für Kognitive Neurowissenschaft an der Frei ...
Quelle: Joëlle Schwitguébel
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).
