idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
idw - Informationsdienst
Wissenschaft
Ein Politiker am Rednerpult, ein harmloser Scherz, der nie gefallen ist, und ein Wahlkampfvideo, das es so nie gab – mehr braucht es heute nicht, um Millionen Menschen in die Irre zu führen. Mithilfe von frei verfügbaren Apps entstehen aus wenigen Klicks täuschend echt wirkende Inhalte, die sich in den sozialen Medien rasant verbreiten lassen. Genau an diesem Punkt setzt ein neues DFKI-Projekt in Zusammenarbeit mit dem DFKI-Spin-off Gretchen AI und der Landeszentrale für politische Bildung Rheinland-Pfalz (LpB) an: Es will Wählerinnen und Wähler zu Deepfake-Detektiven machen, bevor am Ende ein Algorithmus statt der Bürgerschaft über Stimmungen im Land entscheidet.
Das Projekt „Check First. Vote Smart“ dockt direkt dort an, wo sich politische Meinungsbildung in Rheinland-Pfalz zunehmend abspielt: in den Social-Media-Feeds auf dem Smartphone. Statt Nutzerinnen und Nutzer auf externe Plattformen umzuleiten, fügt sich der Deepfake-Check als niedrigschwellige Zusatzfunktion in ihren Alltag ein.
- Verdächtige Bilder können mit zwei Klicks aus Instagram an einen speziellen Detektor-Bot weitergeleitet werden.
- Im Hintergrund analysiert der KI-Detektor, ob das Material KI-generiert oder manipuliert ist – und wenn ja, auf welche Weise.
- Die Nutzerinnen und Nutzer erhalten eine Einordnung: Wie wahrscheinlich ist ein Fake und welche Spuren deuten darauf hin?
„Unsere Demokratie muss standhalten: KI-gesteuerte Bots simulieren gesellschaftliche Mehrheiten, Deepfakes verfälschen Aussagen, ausländische Akteure greifen gezielt in Wahlkämpfe ein. Wir entwickeln KI, die diese Manipulationen aufdeckt – bevor sie verfangen“, erklärt Dr. Tobias Wirth, Themenfeldleiter im Forschungsbereich Smarte Daten & Wissensdienste am DFKI Kaiserslautern
KI-Detektion gegen die Flut der Fakes
Die Idee dahinter stammt aus dem DFKI und seiner Ausgründung Gretchen AI, die Deepfake-Erkennung mit kontextueller Faktenprüfung verbindet. Anders als klassische Ansätze, die nur auf Pixelartefakte schauen, kombiniert der Ansatz forensische Bild- und Audioanalyse mit einer Art „logischem Gegenlesen“: KI-Agenten recherchieren parallel im Netz, gleichen Metadaten, Orte, Personen und Ereignisse ab und beziehen geprüfte Faktenbanken ein – unter anderem über eine enge Kooperation mit dem Faktencheck-Team der dpa.
Dr. Tim Polzehl, Wissenschaftler im Forschungsbereich Speech and Language Technology am DFKI Berlin und CEO von Gretchen AI: „KI bedeutet Veränderung in vielen Bereichen unseres Lebens. Wichtig dabei ist, die KI nicht nur als eine Bedrohung für unsere Realität und Demokratie zu sehen. KI ist gleichzeitig unser stärkster Verteidiger! Es ist Zeit, sie mutig dafür einzusetzen. Gretchen AI ist genau dafür entwickelt worden: Wir vereinen weltweit führende KI-Expertise und die Erfahrung professioneller Faktenchecker und setzen neue Standards für die Verlässlichkeit der Deepfake-Erkennung.“
„Desinformation gehört zu den drängendsten Herausforderungen für unsere Demokratie“, betont Bernhard Kukatzki, Direktor der LpB in Mainz. „Gerade in einem Wahljahr, in dem Bürgerinnen und Bürger täglich mit manipulierten Inhalten konfrontiert werden können, ist Medienkompetenz eine Schlüsselkompetenz.“
Was die KI-gestützte Software im Hintergrund prüft
Hinter „Check First. Vote Smart“ verbirgt sich ein ganzes Arsenal an Detektionsverfahren: In der Beta-Phase sollen mehr als 80 verschiedene Manipulationsarten erkannt werden – von klassischen Deepfake-Videos bis hin zu scheinbar harmlosen Screenshots.
- Visuelle Eingriffe: Face-Swap, Lip-Sync-Manipulationen oder Image Splicing, bei dem echte Fotos zu einer irreführenden Szene zusammengesetzt werden.
- Akustische Fakes: Voice Cloning, das aus wenigen Minuten Audio eine täuschend echte Stimmkopie erzeugt, und Audio Splicing, bei dem echte Zitate neu montiert werden.
- Text- und Kontextfälschungen: gefälschte Screenshots mit erfundenen Zitaten, echte Aussagen, die in einen falschen Kontext gestellt werden, oder das „Liar’s Dividend“, wenn echte, unangenehme Aussagen im Nachhinein als angebliche KI-Fakes abgetan werden.
- Hybride Angriffe: Doppelgänger-Websites, die seriöse Medien täuschend echt kopieren, oder KI-gesteuerte „AstroTurfing“-Kampagnen, bei denen unzählige leicht variierte Bot-Posts eine künstliche Stimmung simulieren.
Technisch setzt das Team auf moderne Architekturen aus der Deepfake-Erkennungsforschung. Dazu gehören etwa Mamba-basierte Modelle wie BiCrossMamba-ST, die spektrale und zeitliche Muster in Daten getrennt auswerten, um feinste Unregelmäßigkeiten und synthetische Spuren aufzuspüren. In internationalen Benchmarks wie der Environmental Sound Deepfake Detection Challenge (ESDD 2026) erreichen DFKI-Modelle Spitzenplätze, wenn es darum geht, Fakes auch von bislang unbekannten Generatormodellen zu unterscheiden.
Gleichzeitig bleibt der Einsatz für die Bürgerschaft bewusst niedrigschwellig: keine zusätzliche App, keine komplizierte Anmeldung, sondern ein Direktkanal in der bestehenden Instagram-Oberfläche. „Wir nutzen ausschließlich Funktionen, die Instagram ohnehin bereitstellt – Direct Message, Teilen, Weiterleiten“, betont das Team, das die Umsetzung DSGVO-konform gestaltet.
Den KI-Detektor für Bildanalyse hat das Team bereits im Sozialen Netzwerk Instagram verfügbar gemacht, Videoanalyse und die Analyse nach früheren Kontexten und Originalmaterial gibt es auf der Dashboard Lösung von Gretchen AI.
Aus dem Labor in den Wahlkampf
Das Projekt startet als Beta-Phase mit bis zu 10.000 Wählerinnen und Wählern in Rheinland-Pfalz, die verdächtige Inhalte melden und eine Einschätzung dazu erhalten – und zugleich Teil eines Forschungsprojekts werden. Die Forschenden wollen unter anderem verstehen, welche Fälschungen bei welchen Gruppen besonders überzeugend wirken, wie nützlich KI-Detektoren sind und ob Wähler*innen ihnen vertrauen – und wie mit Fehleinschätzungen umgegangen wird. Dazu stellt das Team ein KI-Quiz auf Instagram bereit.
Ein früher Proof-of-Concept wurde bereits mit der dpa getestet, etwa bei der Analyse manipulierter Parteitagsvideos, in denen Tonspuren ausgetauscht und mit skandalisierenden Inhalten unterlegt wurden. In einem Fall bewertete die KI die Audiospur eines viralen Videos mit einer Wahrscheinlichkeit von über 60 Prozent als Fake – ein Wert, den DFKI-Forscher Tobias Wirth als deutlich zu hoch einstuft, um das Material noch als „gefühlte Realität“ durchgehen zu lassen.
“Die Qualität mancher Deepfakes ist leider oder bewusst so schlecht, sodass eine Fakeerkennung erschwert wird. KI-gestützte Deepfake-Erkenner sind Wahrscheinlichkeits-basiert und können keine eindeutigen forensischen Beweise liefern. Sicherlich sieht man die Wahrscheinlichkeit von über 60 Prozent als zu hoch an, als dass subjektives Empfinden das Video als 'Real' einstufen würde. Desinformation setzt aber genau an dem subjektiven Umgang mit Informationen mit Unsicherheit an”, so Tobias Wirth gegenüber den ARD-Faktencheckern.
Die LpB erhofft sich durch den Einsatz der Software mehr digitale Souveränität für Bürgerinnen und Bürger. So führt LpB-Direktor Bernhard Kukatzki aus: „Wer weiß, wie Desinformation funktioniert und Inhalte im Zweifel überprüfen kann, lässt sich weniger verunsichern und trifft politische Entscheidungen auf informierter Grundlage. Das stärkt nicht nur die individuelle Medienkompetenz, sondern auch das Vertrauen in demokratische Institutionen und politische Prozesse.“ Die LpB will die Erfahrungen aus dem Projekt nutzen, um weitere niedrigschwellige Formate im Bereich Desinformation und KI zu entwickeln. So plant sie 2027 beispielsweise einen Fachtag speziell zu KI und Wahlen.
Werkzeuge für Medien, Bildung und Behörden
Für das DFKI ist das Projekt mehr als ein Einzelbeitrag zur Landtagswahl, sondern ein Testfeld für eine neue Generation von Werkzeugen gegen hybride Bedrohungen aus generativer KI. Schon heute kommen Deepfake-Erkennung und Kontextanalyse von Gretchen AI in professionellen Umgebungen zum Einsatz – von Newsrooms über Behörden bis hin zu Unternehmen, die ihre Marke gegen manipulierte Videos schützen müssen.
Die Ausgründung aus dem DFKI wurde im Rahmen des SPRIND-Programms „Deepfake Detection and Prevention“ ausgezeichnet und arbeitet eng mit der dpa zusammen, die Deutschlands größtes Faktencheck-Team betreibt.
Langfristig sehen die Projektpartner mehrere mögliche Ausbaustufen: die Übertragbarkeit auf andere Wahlen, die Integration weiterer Plattformen wie TikTok sowie Werkzeuge, mit denen Schulen, Volkshochschulen oder Initiativen der politischen Bildung eigenständig Deepfake-Workshops durchführen können. „Wir müssen nicht nur Fakes entlarven, sondern Medienkompetenz auf dem Stand von 2026 vermitteln“, betont das Team – inklusive verständlicher Erklärungen, welche Spuren ein System gefunden hat und wie es zu seiner Einschätzung gelangt.
So funktioniert der 2-Klick-Check
- Verdächtigen Post auf Instagram auswählen.
- Über die Teilen-Funktion an den Checker-Account „gretchen_ai_berlin“ senden, es meldet sich der KI-Detektor.
- Nutzerinnen und Nutzer erhalten eine Einschätzung zur Wahrscheinlichkeit eines Fakes und eine kurze Einschätzung zu Einflussfaktoren.
- KI und Faktencheck Expert*innen prüfen ausgewählte oder uneindeutige Bilder, auch Metadaten und Kontext – inklusive Abgleich mit geprüften Quellen.
- Alle Schritte sind datenschutzkonform, es werden nur die für die Analyse notwendigen Inhalte verarbeitet.
Dr. Tobias Wirth
Themenfeldleiter GeT-AI, Forschungsbereich Smarte Daten & Wissensdienste
Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI) Kaiserslautern
E-Mail: tobias.wirth@dfki.de
Dr.-Ing. Tim Polzehl
CEO, Gretchen AI
Forschungsbereich Speech and Language Technology
Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI) Berlin
E-Mail: tim.polzehl@dfki.de
Mit zwei Klicks gegen Deepfakes: DFKI und Partner stärken Medienkompetenz im Wahljahr
Source: Lando Michael Lehmann
Copyright: DFKI
Criteria of this press release:
Journalists
Information technology, Politics, Psychology, Social studies
transregional, national
Miscellaneous scientific news/publications, Transfer of Science or Research
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
