idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
idw - Informationsdienst
Wissenschaft
Technologien der generativen künstlichen Intelligenz (KI) haben das Potenzial, politische Debatten maßgeblich zu beeinflussen. Das legt eine neue Studie von Forschenden der Universität Passau nahe.
Ein interdisziplinäres Team um Steffen Herbold, Professor für AI Engineering, und Annette Hautli-Janisz, Professorin für Computational Rhetoric and Natural Language Processing, hat untersucht, wer bei politischen Fragen aus der Gesellschaft die authentischeren und relevanteren Antworten liefert: der Mensch oder die Maschine. Basis hierfür ist die britische Talkshow Question Time der BBC, eine der meistgesehen politischen Talkshows in Großbritannien. Auf dem Podium sitzen mehrere Gäste aus Gesellschaft und Politik. Die Fragen stellt das Publikum. Das Format lebt von seinem Live-Charakter, das heißt, es verlangt rhetorisches Geschick und Schlagfertigkeit.
„Ausgangspunkt unserer Studie war die Tatsache, dass wir beobachtet haben, dass Sprachmodelle immer besser darin geworden sind, einen vorgegebenen Stil zu imitieren“, erklärt Prof. Dr. Herbold. So kann die generative KI inzwischen sprachlichen Stil und politische Parteilichkeit vortäuschen. „Sprachmodelle sind damit in der Lage, gezielte politische Kommunikation zu generieren und damit die öffentliche Meinung zu beeinflussen“, sagt der Informatiker.
Kern der Studie: Authentizität der Antworten
Das Passauer Team wollte wissen: Wie täuschend echt ist diese Kommunikation? Kann sie Menschen überzeugen? Um das zu testen, haben die Forschenden einen Datensatz aus verschriftlichten Fragen und Antworten von 30 Sendungen aus der Zeit von 2020 bis 2022 ausgewertet und daraus 119 Fragen mit mehr als 500 Antworten extrahiert. Das Sprachmodell ChatGPT 4 Turbo sollte dieselben Fragen beantworten, mit der Vorgabe, dass die Maschine den sprachlichen Stil der Gäste in einer öffentlichen Debatte imitieren sollte. „Das betrifft das Kriterium der Authentizität, also den Kern unserer Studie. Gemeint ist die Frage, ob eine Antwort wirklich so in einer Live-Situation gefallen sein könnte“, erklärt Ko-Autorin Prof. Dr. Hautli-Janisz.
Die einzelnen Antworten der KI und die der Gäste hat das Forschungsteam in einer repräsentativen Studie insgesamt 948 britischen Bürgerinnen und Bürgern zur Bewertung vorgelegt. Die Teilnehmenden wussten nichts vom Einsatz von KI. Einigen Befragten wurde eine echte, anderen eine maschinell generierte Antwort präsentiert. Wieder andere sollten die maschinelle und die echte Antwort vergleichen oder die Antwort einem prominenten Sprecher zuordnen.
Die Ergebnisse im Überblick:
- Die Befragten stuften die imitierten Antworten des Sprachmodells überwiegend als authentischer, schlüssiger und relevanter als die menschlichen Antworten ein.
- Die von der KI imitierten Antworten lösten bei den Bürgerinnen und Bürgern keinen „Uncanny-Valley“-Effekt aus. Gemeint ist damit, dass Roboter, deren Eigenschaften denen von Menschen sehr ähnlich sind, nicht mehr akzeptiert werden und eher einen negativen Effekt auf den Menschen zeigen.
- Mehr als die Hälfte der Antworten der Maschine wichen inhaltlich von den Originalantworten ab. Die Befragten stuften die maschinell generierten Antworten dennoch als authentisch ein.
- Die von der KI imitierten Antworten unterschieden sich von den Originalen im Sprachgebrauch. Die KI arbeitete mit mehr Nominalisierungen und einem größeren Wortschatz. Zudem fand sich der Wortlaut der Frage meist auch in den Antworten wieder, anders als bei den Originalantworten. Letztere wiederum enthielten mehr sogenannte epistemische Marker wie „Ich denke“.
Warnung vor möglichen Folgen
„Problematisch ist insbesondere, dass Antworten, die inhaltlich abweichen, als authentisch eingestuft werden. Denn dann sind wir mit der Situation konfrontiert, dass die KI-Technologie zur gezielten Fehlinformation über den Standpunkt des Sprechers eingesetzt werden kann“, erklärt Prof. Dr. Hautli-Janisz. „Unsere Studie zeigt zweierlei: Sprachmodelle können dazu gebracht werden, einen sinnvollen Beitrag zu öffentlichen Debatten zu leisten. Es ist aber dringend notwendig, die Öffentlichkeit über den potenziellen Schaden aufzuklären, den dies für die Gesellschaft haben kann“, sagt Prof. Dr. Herbold. Ein unregulierter Einsatz von KI-Technologien in der politischen Kommunikation könnte verheerende Folgen haben.
Öffentliche Wahrnehmung
Die Forschenden befragten die Teilnehmenden auch nach ihrer Haltung zum Einsatz von generativer KI in öffentlichen Debatten. Die Mehrheit gab an, mit Technologien wie großen Sprachmodellen vertraut zu sein, befürwortete auch deren Einsatz, zweifelte allerdings an deren Nutzen in öffentlichen Debatten. Bei der Frage nach Regulierung gab es ein gemischtes Meinungsbild. Die Forschenden wollten wissen, ob sich daran etwas ändert, wenn die Befragten von den maschinell generierten Antworten in dem Experiment erfahren. Bei der Mehrheit änderte sich nichts. Doch mit Blick auf die Transparenz zeigte sich eine klare Tendenz: Mehr als 85 Prozent der Teilnehmenden forderten, dass der Einsatz von KI-Technologien offengelegt werden müsse und dass darüber informiert werden müsse, wie diese Technologien entwickelt werden.
Die Studie mit dem Titel “LLM-impersonated debate contributions are more authentic, relevant and coherent than their original: A representative study using BBC1’s Question Time“ ist in dem Journal PLOS One erschienen. Es handelt sich dabei um eine internationale, multidisziplinäre Online-Fachzeitschrift der Public Library of Science (PLOS).
Über das Autoren-Team
Prof. Dr. Steffen Herbold ist Inhaber des Lehrstuhls für AI Engineering an der Universität Passau. In seiner Forschung untersucht er schwerpunktmäßig die Qualität von KI-Modellen. Für die Studie setzte er gemeinsam mit seinem Mitarbeiter Dr. Alexander Trautsch die statistische Auswertung und eine Plattform für die Datenerhebung auf. Zusammen mit Prof. Dr. Hautli-Janisz modellierte er das Studiendesign.
Annette Hautli-Janisz ist Juniorprofessorin für Computational Rhetoric und Natural Language Processing. Sie interessiert sich in ihrer Forschung dafür, wie sich die Argumentation der KI-gestützten Sprachmodelle entwickelt. In die Studie brachte sie neben der computerlinguistischen Analyse die Idee ein, den bereits vorhandenen Datensatz QT30 für die Studie zu nutzen. Es handelt sich dabei um den größten Datensatz zu politischen Debattensendungen und umfasst insgesamt 30 Episoden der britischen Talkshow „Question Time“ (QT). Gemeinsam mit ihrer Doktorandin Zlata Kikteva analysierte sie die echten und maschinell generierten Antworten aus linguistischer Perspektive.
Prof. Dr. Steffen Herbold
Lehrstuhl für AI Engineering
Hans-Kapfinger-Straße 30
94032 Passau
E-Mail: Steffen.Herbold@uni-passau.de
Prof. Dr. Annette Hautli-Janisz
Juniorprofessur für Computational Rhetoric und Natural Language Processing
Hans-Kapfinger-Straße 30
94032 Passau
E-Mail: Annette.Hautli-Janisz@uni-passau.de
Herbold S, Trautsch A, Kikteva Z, Hautli-Janisz A (2026) LLM-impersonated debate contributions are more authentic, relevant and coherent than their original: A representative study using BBC1's Question Time. PLoS One 21(7): e0347757. https://doi.org/10.1371/journal.pone.0347757
https://www.eurekalert.org/news-releases/1133435 Pressemitteilung des Journal PLOS auf EurekAlert
Prof. Dr. Annette Hautli-Janisz und Prof. Dr. Steffen Herbold zeigen eine Grafik aus ihrer neuen Stu ...
Quelle: Uli Schwarz
Copyright: Universität Passau
Die Grafik zeigt die Einschätzung der Befragten beim Vergleich der Originalantworten mit den maschin ...
Quelle: Universität Passau
Copyright: Universität Passau
Merkmale dieser Pressemitteilung:
Journalisten, Lehrer/Schüler, Studierende, Wirtschaftsvertreter, Wissenschaftler, jedermann
Gesellschaft, Informationstechnik, Politik, Sprache / Literatur
überregional
Forschungs- / Wissenstransfer, Forschungsergebnisse
Deutsch
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).
