Maschinen können mithilfe von Künstlichen-Intelligenz-Algorithmen Fotos oder Sprachdateien erzeugen, die wie aus dem wahren Leben aussehen oder klingen. Wie man solche als Deepfakes bezeichneten künstlich erzeugten Daten von echten unterscheiden kann, interessiert Forschende am Horst-Görtz-Institut für IT-Sicherheit der Ruhr-Universität Bochum. Sie stellten fest, dass sich echte und gefälschte Sprachdateien im Bereich der hohen Frequenzen unterscheiden. Zuvor waren Deepfakes hauptsächlich bei Bildern untersucht worden. Die neuen Erkenntnisse sollen künftig helfen, auch gefälschte Sprache erkennen zu können.
Ihre Ergebnisse stellten Joel Frank vom Lehrstuhl für Systemsicherheit und Lea Schönherr aus der Arbeitsgruppe Kognitive Signalverarbeitung am 7. Dezember 2021 auf der Conference on Neural Information Processing Systems vor, die als Online-Veranstaltung abgehalten wurde. Die Arbeiten fanden im Rahmen des Exzellenzclusters CASA – Cybersecurity in the Age of Large-Scale Adversaries statt.
Großer Deepfake-Datensatz erzeugt
Als ersten Schritt erzeugten Joel Frank und Lea Schönherr einen umfangreichen Datensatz mit rund 118.000 künstlich erzeugten Sprachdateien. So entstanden etwa 196 Stunden Material auf Englisch und Japanisch. „Solch einen Datensatz für Audio-Deepfakes hat es zuvor nicht gegeben“, erklärt Lea Schönherr. „Um die Methoden zur Erkennung von gefälschten Audiodateien zu verbessern, braucht man aber dieses Material.“ Damit der Datensatz möglichst breit aufgestellt ist, nutzte das Team sechs verschiedene Künstliche-Intelligenz-Algorithmen beim Erzeugen der Audioschnipsel.
Anschließend verglichen die Forschenden die künstlichen Audiodateien mit Aufnahmen echter Sprache. Sie stellten die Dateien in Form von Spektrogrammen dar, die die Frequenzverteilung über die Zeit hinweg zeigen. Der Vergleich ergab feine Unterschiede im Bereich der hohen Frequenzen zwischen echten und gefälschten Dateien.
Basierend auf diesen Erkenntnissen entwickelten Frank und Schönherr Algorithmen, die zwischen Deepfakes und echter Sprache unterscheiden können. Diese Algorithmen sind als Startpunkt für andere Forscher gedacht, um neue Erkennungsmethoden zu entwickeln.
Förderung
Die Deutsche Forschungsgemeinschaft förderte die Arbeiten im Rahmen des Exzellenzclusters CASA – Cybersecurity in the Age of Large-Scale Adversaries (EXC 2092, 390781972).
Joel Frank
Lehrstuhl für Systemsicherheit
Horst-Görtz-Institut für IT-Sicherheit
Ruhr-Universität Bochum
E-Mail: joel.frank@rub.de
Lea Schönherr
Arbeitsgruppe Kognitive Signalverarbeitung
Horst-Görtz-Institut für IT-Sicherheit
Ruhr-Universität Bochum
Tel.: +49 234 32 29638
E-Mail: lea.schoenherr@rub.de
Joel Frank, Lea Schönherr: WaveFake: A data set to facilitate audio deepfake detection, Thirty-fifth Conference on Neural Information Processing Systems (NeurIPS) – Track for Datasets and Benchmarks, 2021, Online-Tagung, Paper-Download: https://arxiv.org/abs/2111.02813
Lea Schönherr ist Expertin für die Analyse von Audiodateien. Joel Frank ist spezialisiert auf KI-Al ...
RUB, Marquard
Criteria of this press release:
Journalists
Information technology
transregional, national
Research results
German
Lea Schönherr ist Expertin für die Analyse von Audiodateien. Joel Frank ist spezialisiert auf KI-Al ...
RUB, Marquard
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).