idw – Informationsdienst Wissenschaft

Nachrichten, Termine, Experten

Grafik: idw-Logo
Science Video Project
idw-Abo

idw-News App:

AppStore

Google Play Store



Instance:
Share on: 
06/12/2024 09:12

Hirn unterscheidet natürliche Stimmen von Deepfake

Melanie Nyfeler Kommunikation
Universität Zürich

    Macht das Gehirn beim Verarbeiten von natürlichen Stimmen im Vergleich zu ihren Deepfake-Imitationen einen Unterschied? Ja, sagen Forschende der Universität Zürich. In einer Studie haben sie zwei Hirnareale identifiziert, die unterschiedlich auf die akustischen Signale reagieren.

    Jeder Mensch hat ein einzigartiges Stimmprofil. Dies hilft, um die Person zu identifizieren. Neueste Algorithmen zur Stimmsynthese sind inzwischen so leistungsfähig, dass sie künstliche Stimmklone erstellen können, die den Identitätsmerkmalen natürlicher Sprecher qualitativ sehr nahekommen. Noch nie war es so leicht, mit Deepfake-Technologien natürliche Stimmen zu imitieren, entweder für Betrugsversuche am Telefon oder um dem Sprachassistenten die Stimme der Lieblingsschauspielerin zu geben.

    Bisher war jedoch unklar, wie das menschliche Gehirn auf solche Deepfake-Stimmen reagiert. Akzeptiert es diese als echt oder erkennt es den Fake? Ein Forschungsteam an der Universität Zürich hat nun herausgefun-den, dass Menschen die geklaute Identität in einem Deepfake-Audio zwar häufig als natürlich akzeptieren, das Gehirn auf Deepfake-Stimmen jedoch anders reagiert als auf natürliche Stimmen.

    Identität in Deepfake Stimmen fast zum Täuschen ähnlich

    Die Forschenden testeten zunächst mit psychoakustischen Methoden, wie gut die menschliche Identität in den imitierten Stimmklonen erhalten bleibt. Die Forschenden nahmen die Stimmen vier männlicher Sprecher auf und generierten mit Hilfe von Computeralgorithmen Deepfake-Stimmen dieser Sprecher. Im Hauptexperi-ment hörten 25 Probandinnen und Probanden mehrere Stimmen und sollten entscheiden, ob die Identität zweier Stimmen identisch war oder nicht. Dabei gab es zwei Aufgaben: Entweder sollten sie die Identität von zwei natürlichen Stimmen oder einer natürlichen und einer Deepfake-Stimme abgleichen.

    Dabei zeigte sich, dass die Deepfake-Identitäten in zwei Dritteln der Fälle korrekt zugeordnet wurden. «Dies verdeutlicht, dass aktuelle Deepfake-Stimmen zwar nicht perfekt die Identität imitieren, aber das Potential haben, die Wahrnehmung von Menschen zu täuschen», sagt Claudia Roswandowitz, Post-Doc am Institut für Computerlinguistik.

    Belohnungssystem reagiert auf natürliche Stimmen, aber nicht auf Deepfakes

    Mit Hilfe von bildgebenden Verfahren untersuchten die Forschenden dann, welche Gehirnareale abwei-chend auf Deepfake-Stimmen im Vergleich zu natürlichen Stimmen reagieren. Dabei machten sie zwei zentrale Areale ausfindig, die den Fake erkennen: Zum einen reagiert ein Teil des mesolimbischen Systems, der Nu-cleus Accumbens, anders auf Deepfake-Stimmen. «Der Nucleus Accumbens ist ein wichtiger Bestandteil des Belohnungssystems im Gehirn. Er war weniger aktiv, als die Probandinnen und Probanden die Identität zwi-schen Deepfake und natürlichen Stimmen abgleichen sollten», erklärt Claudia Roswandowitz. Viel aktiver war hingegen der Nucleus Accumbens, wenn die Probandinnen und Probanden zwei natürliche Stimmen ver-gleichen mussten.

    Auditorischer Cortex unterscheidet die akustische Qualität in Deepfake und natürlichen Stimmen

    Das zweite Hirnareal, dass in dem Experiment bei den Versuchsteilnehmenden aktiv war, scheint auf die akus-tische Differenz zwischen natürlicher und Deepfake-Stimme zu reagieren: Der auditorische Cortex, zuständig für die Analyse von Geräuschen, war aktiver, als es die Identität zwischen Deepfake und natürlicher Stimme abzugleichen galt. «Wir vermuten, dass dieses Areal auf die noch nicht perfekte akustische Imitation der «Deepfake»-Stimmen reagiert und versucht, das fehlende akustische Signal auszugleichen», sagt die Erstauto-rin. Je weniger natürlich und sympathisch die gefälschte Stimme im Vergleich zu ihrem natürlichen Gegen-stück wahrgenommen wurde, desto grösser waren die Aktivitätsunterschiede im auditorischen Cortex.

    Der Fake-Anteil in den Deepfake-Stimmen scheint zu weniger Vergnügen beim Hören zu führen, und das rela-tiv unabhängig von der Qualität des akustischen Signals. «Der Mensch kann also nur teilweise durch Deepfakes getäuscht werden. Besonders die neuronalen Mechanismen, die bei der Verarbeitung von Deepfakes identifiziert wurden, verdeutlichen die menschliche Widerstandsfähigkeit gegenüber gefälschten Informationen, die uns im Alltag immer häufiger begegnen», folgert Roswandowitz.


    Contact for scientific information:

    Kontakte:
    Dr. Claudia Roswandowitz
    Kognitive und affektive Neurowissenschaften (Psychologisches Institut)
    Phonetik und Sprachsignalverarbeitung (Institut für Computerlinguistik)
    Universität Zürich
    +49 176 30124475
    claudia.roswandowitz@uzh.ch


    Original publication:

    Literatur:
    Claudia Roswandowitz, Thayabaran Kathiresan, Elisa Pellegrino, Volker Dellwo, Sascha Frühholz. Cortical-striatal brain network distinguishes deepfake from real speaker identity. Communications Biology, 11. June 2024, DOI: 10.1038/s42003-024-06372-6


    More information:

    https://www.news.uzh.ch/de/articles/media/2024/Deepfake-Stimme.html


    Images

    Criteria of this press release:
    Journalists
    Information technology, Language / literature, Media and communication sciences, Medicine, Social studies
    transregional, national
    Research projects, Research results
    German


     

    Help

    Search / advanced search of the idw archives
    Combination of search terms

    You can combine search terms with and, or and/or not, e.g. Philo not logy.

    Brackets

    You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).

    Phrases

    Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.

    Selection criteria

    You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).

    If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).