idw – Informationsdienst Wissenschaft

Nachrichten, Termine, Experten

Grafik: idw-Logo
Grafik: idw-Logo

idw - Informationsdienst
Wissenschaft

Science Video Project
idw-Abo

idw-News App:

AppStore

Google Play Store



Instance:
Share on: 
11/06/2024 07:51

Wie häufig Fake-Profilbilder auf Twitter sind

Dr. Julia Weiler Dezernat Hochschulkommunikation
Ruhr-Universität Bochum

    Wie viele mit Künstlicher Intelligenz (KI) erzeugte Profilbilder es in dem Sozialen Netzwerk Twitter (mittlerweile X genannt) gibt, haben Bochumer Forschende mit Kollegen aus Köln und Saarbrücken untersucht. Sie analysierten fast 15 Millionen Accounts und fanden heraus, dass 0,052 Prozent davon ein KI-generiertes Personenbild als Avatar besaßen. „Das klingt im ersten Moment nicht viel, aber solche Bilder sind merklich präsent auf Twitter“, sagt Erstautor Jonas Ricker von der Ruhr-Universität Bochum. „Unsere Analysen geben zudem Hinweise darauf, dass es sich bei vielen der Accounts um Fakeprofile handelt, die unter anderem politische Propaganda oder Verschwörungstheorien verbreiten.“

    Das Team stellte die Arbeit am 1. Oktober 2024 in Padua auf dem 27th International Symposium on Research in Attacks, Intrusions and Defenses (RAID) vor.

    Die Forschenden der Ruhr-Universität Bochum kooperierten für die Arbeit mit Kollegen des Helmholtz-Zentrums für Informationssicherheit CISPA in Saarbrücken und des Leibniz-Instituts für Sozialwissenschaften GESIS in Köln. Die Arbeiten fanden im Rahmen des Exzellenzclusters Cybersecurity in the Age of Large-Scale Adversaries, kurz CASA, statt.

    Tausende von Accounts mit Fake-Profilbildern

    „Mithilfe von KI kann man heutzutage täuschend echt aussehende Bilder erzeugen, die in den Sozialen Medien dafür missbraucht werden können, um scheinbar reale Accounts zu erstellen“, erklärt Jonas Ricker. Wie verbreitet solche KI-generierten Profilbilder sind, ist bislang kaum untersucht. Die Forschenden trainierten eine Künstliche Intelligenz darauf, reale von KI-generierten Bildern unterscheiden zu können. Mit diesem Modell analysierten sie automatisiert die Profilbilder von rund 15 Millionen Twitter-Accounts. Die Daten dafür stammten aus März 2023. Alle Accounts, die kein Porträtbild als Avatar nutzten, schlossen die Forschenden aus ihrem Datensatz aus. Etwa 43 Prozent aller Accounts verblieben in der Analyse. 7.723 davon klassifizierte das Modell als KI-generiert. Die Ergebnisse überprüften die Forschenden stichprobenartig auch manuell.

    Im nächsten Schritt schaute sich das Team an, wie sich Accounts mit KI-generierten Bildern im Vergleich zu Accounts mit realen Personenbildern auf der Plattform verhielten. Fake-Bild-Accounts hatten im Durchschnitt weniger Follower*innen und folgten auch selbst weniger anderen Accounts. „Auffällig war auch, dass über die Hälfte der Fake-Bild-Accounts erst 2023 erstellt worden ist, teils wurden hunderte Accounts in einigen Stunden aufgesetzt – ein Hinweis, dass es sich nicht um echte Nutzerinnen oder Nutzer handelt“, folgert Jonas Ricker. Neun Monate nach der ersten Datensammlung schauten die Forschenden, ob die Fake-Bild-Accounts und eine gleiche Anzahl von Echt-Bild-Accounts noch aktiv waren und stellten fest, dass über die Hälfte der Fake-Bild-Accounts zu diesem Zeitpunkt von Twitter gesperrt worden war. „Ein weiteres Indiz, dass es sich um Accounts handelt, die unlauter agiert haben“, so Ricker.

    Desinformation und politische Propaganda

    Die Wissenschaftlerinnen und Wissenschaftler untersuchten darüber hinaus die Inhalte, mit denen die Fake-Bild-Accounts auf Twitter in Erscheinung traten. Dabei zeigten sich einige wiederkehrende Themen, etwa Politik – häufig mit Trump-Bezug –, Covid-19 und Impfungen, der Ukraine-Krieg, Verlosungen oder Finanzen inklusive Kryptowährungen. „Wir können nur mutmaßen, was dahintersteckt“, sagt Jonas Ricker. „Aber es ist davon auszugehen, dass einige Accounts erstellt wurden, um gezielt Desinformationen oder politische Propaganda zu verbreiten.“

    In Zukunft will das Team weiter an der automatisierten Erkennung von Fake-Bildern arbeiten, auch von solchen, die mit neueren KI-Modellen erzeugt werden. In der vorliegenden Studie beschränkten sich die Wissenschaftlerinnen und Wissenschaftler auf das Modell „StyleGAN 2“, das der Webseite thispersondoesnotexist.com zugrunde liegt. Mit dieser können unechte Personenbilder mit einem Klick generiert werden. „Wir nehmen an, dass diese Seite oft für das Erzeugen von KI-generierten Profilbildern genutzt wird“, so Ricker. „Denn solche KI-generierten Bilder sind schlechter zurückzuverfolgen, als wenn sich jemand an einem echten Bild einer fremden Person für sein Profil bedient.“

    Förderung

    Die Arbeiten wurden unterstützt von der Deutschen Forschungsgemeinschaft im Rahmen der Exzellenzstrategie (EXC 2092 CASA – 390781972), vom Bundesministerium für Bildung und Forschung im Rahmen des Grants UbiTrans (16KIS1900), von der Leibniz Association Competition (P101/2020) sowie vom Deutschen Akademischen Austauschdienst.


    Contact for scientific information:

    Jonas Ricker
    Lehrstuhl für Maschinelles Lernen
    Fakultät für Informatik
    Ruhr-Universität Bochum
    Tel.: +49 234 32 22797
    E-Mail: jonas.ricker@ruhr-uni-bochum.de


    Original publication:

    Jonas Ricker, Dennis Assenmacher, Thorsten Holz, Asja Fischer, Erwin Quiring: AI-Generated Faces in the Real World: A Large-Scale Case Study of Twitter Profile Images, 27th International Symposium on Research in Attacks, Intrusions and Defenses (RAID), Padua, Italy, 2024, Paper Download: https://dl.acm.org/doi/10.1145/3678890.3678922


    Images

    Jonas Ricker forscht an der Fakultät für Informatik und im Exzellenzcluster CASA daran, wie man KI-generierte Inhalte erkennt.
    Jonas Ricker forscht an der Fakultät für Informatik und im Exzellenzcluster CASA daran, wie man KI-g ...

    RUB, Marquard

    Eine ganze Reihe von Accounts in dem Sozialen Netzwerk X, ehemals Twitter, nutzt Porträts als Accountbilder, die mit Künstlicher Intelligenz erzeugt wurden.
    Eine ganze Reihe von Accounts in dem Sozialen Netzwerk X, ehemals Twitter, nutzt Porträts als Accoun ...

    RUB, Marquard


    Criteria of this press release:
    Journalists
    Information technology
    transregional, national
    Research results
    German


     

    Help

    Search / advanced search of the idw archives
    Combination of search terms

    You can combine search terms with and, or and/or not, e.g. Philo not logy.

    Brackets

    You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).

    Phrases

    Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.

    Selection criteria

    You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).

    If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).