idw – Informationsdienst Wissenschaft

Nachrichten, Termine, Experten

Grafik: idw-Logo
Science Video Project
idw-Abo

idw-News App:

AppStore

Google Play Store



Instance:
Share on: 
09/24/2021 13:57

Schlafwandelnder Sprachassistent - Untersuchungen liefern neue Erkenntnisse zum „Fake-Wake-Phänomen“

Bettina Bastian Stabsstelle Kommunikation und Medien
Technische Universität Darmstadt

    In einem gemeinsamen Projekt mit einem Forschungsteam der chinesischen Zhejiang Universität in Hangzhou haben Forschende des System Security Lab unter Leitung von Professor Dr. Ahmad-Reza Sadeghi an der TU Darmstadt das sogenannte „Fake-Wake-Phänomen“ systematisch untersucht. Dieses Phänomen führt bei gängigen Sprachassistenten dazu, ein abweichendes Wort als eigenes „Weckwort“ zu erkennen und auf vermeintliche Kommandos zu hören.

    Das internationale Forschungsteam ist dabei auf neue Erkenntnisse gestoßen. Seine Ergebnisse liefern wertvolle Hinweise, wie die Privatsphäre der Nutzenden stärker geschützt werden und Hersteller ihre Sprachassistenten noch sicherer machen können. Untersucht wurden die acht beliebtesten englischen und chinesischen Sprachassistenten im Hinblick auf das Fake-Wake-Phänomen.
    Typischerweise hören Sprachassistenten aktiv die Umgebung nach ihren systemeigenen Weckwörtern wie „Alexa“, „OK Google“ oder ihren Markennamen ab, die sie aktivieren. Beim Fake-Wake-Phänomen erkennt der Sprachassistent falsche Weckworte, sogenannte „Fuzzy-Wörter“, z.B. aus Gesprächen oder Fernsehsendungen. Diese falsch erkannten Wörter kann ein Angreifer nutzen, um Sprachassistenten zu aktivieren, ohne die Nutzenden dabei zu alarmieren. Bisher konzentrierte sich die Forschung auf diese Quellen des Fake-Wake-Phänomens.
    Dem Team um Prof. Wenyuan Xu, Dr. Yanjiao Chen und Prof. Sadeghi ist es erstmals gelungen, systematisch und automatisch eigene falsche Weckwörter zu generieren statt Audiomaterial zu durchsuchen. Die Erzeugung der Fuzzy-Wörter begann mit einem bekannten Anfangswort wie „Alexa“. Dabei hatten die Forschenden weder Zugriff auf das Modell, das die Weckwörter erkennt, noch auf den Wortschatz, der dem Sprachassistenten zugrunde liegt. Sie gingen auch der Frage nach, welche Ursachen zur Akzeptanz falscher Weckwörter führen.
    Zunächst wurden die Merkmale ermittelt, die am häufigsten zur Akzeptanz der Fuzzy-Wörter beigetragen haben. Die entscheidenden Faktoren konzentrierten sich lediglich auf einen kleinen phonetischen Ausschnitt des Wortes. Aber auch falsche Wörter, die sich deutlich stärker von den echten Weckwörtern unterscheiden, konnten die Sprachassistenten aktivieren. Dabei spielten etwa Umgebungsgeräusche, die Lautstärke der Wörter sowie das Geschlecht des oder der Sprechenden kaum eine Rolle.
    So konnten mit Hilfe genetischer Algorithmen und maschinellen Lernens mehr als 960 eigene Fuzzy-Wörter in Englisch und Chinesisch erzeugt werden, die den „Weckwortdetektor“ der Sprachassistenten aktiviert haben. Dies zeigt einerseits die Schwere des Fake-Wake-Phänomens und liefert andererseits die Grundlage für tiefere Einblicke in dessen Ursachen.
    Das Phänomen kann abgeschwächt werden, indem der Weckwortdetektor mit den erzeugten Fuzzy-Wörtern neu trainiert wird. Dadurch kann der Sprachassistent genauer zwischen falschen und echten Weckwörtern unterscheiden. Auch Hersteller können mit den generierten Fuzzy-Wörtern vorhandene Modelle neu trainieren, um sie präziser und weniger angreifbar zu machen. Damit bieten die Forschungsergebnisse einen vielversprechenden Weg, um Datenschutz- und Sicherheitsprobleme in Sprachassistenten zu identifizieren, zu verstehen und zu entschärfen.


    Contact for scientific information:

    Prof. Ahmad-Reza Sadeghi, Leiter des System Security Lab, TU Darmstadt
    ahmad.sadeghi@trust.tu-darmstadt.de

    Lisa Fröhlich, Wissenschaftskommunikation am System Security Lab, TU Darmstadt
    lisa.froehlich@trust.tu-darmstadt.de
    +49 (0)6151–16 25322


    Original publication:

    https://arxiv.org/abs/2109.09958


    Images

    Criteria of this press release:
    Journalists, Scientists and scholars
    Information technology
    transregional, national
    Research results
    German


     

    Help

    Search / advanced search of the idw archives
    Combination of search terms

    You can combine search terms with and, or and/or not, e.g. Philo not logy.

    Brackets

    You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).

    Phrases

    Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.

    Selection criteria

    You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).

    If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).