idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
idw - Informationsdienst
Wissenschaft
Text-zu-Bild-Modelle haben die Erzeugung synthetischer Bilder, darunter illegale Inhalte wie Darstellungen sexuellen Kindesmissbrauchs (CSAM), deutlich vereinfacht. In öffentlichen Debatten wird häufig vorgeschlagen, Bilder von Kindern aus den Trainingsdatensätzen zu entfernen. Eine von CISPA-Faculty Dr. Ana-Maria Cretu geleitete Studie legt jedoch nahe, dass dieser Ansatz nur begrenzten Schutz bietet und leicht umgangen werden kann. Die Ergebnisse der Studie mit dem Titel „Evaluating Concept Filtering Defenses against Child Sexual Abuse Material Generation by Text-to-Image Models“ präsentierte sie auf dem 47. IEEE-Symposium für Sicherheit und Datenschutz (S&P 2026).
„Schon vor dem Aufkommen generativer KI gab es ein ernstes Problem hinsichtlich des Ausmaßes von Missbrauchsdarstellungen von Kindern: Immer größere Mengen an CSAM wurden online geteilt, und politische Entscheidungsträger suchten nach Wegen, dessen Verbreitung einzudämmen“, erklärt Ana-Maria Cretu. Das Aufkommen generativer KI hat diese Bedenken noch verstärkt, da Text-zu-Bild-Modelle dazu missbraucht werden können, CSAM mit beispielloser Leichtigkeit zu erstellen. Dies stellt eine Gefahr für Kinder dar, indem es den Ruf und die psychische Gesundheit der abgebildeten Opfer beeinträchtigt. Selbst wenn keine echten Kinder dargestellt werden, kann KI-generiertes CSAM die Ermittlungen zu Fällen von tatsächlichem Missbrauch erschweren, da Ressourcen für die Identifizierung realer Opfer in Inhalten aufgewendet werden, die täuschend echt wirken, aber vollständig KI-generiert sind.
„Ein Vorschlag zur Entwicklung sichererer Modelle, der Aufmerksamkeit erregt hat, ist das Herausfiltern der Bilder von Kindern aus den Trainingsdatensätzen“, sagt Cretu. „Bisher gab es jedoch kaum Belege dafür, ob solche Ansätze tatsächlich funktionieren. Sowohl aus politischer als auch aus wissenschaftlicher Sicht erschien es wichtig, diese Behauptungen zu überprüfen.“ Die Studie hatte daher zum Ziel herausfinden, ob das Entfernen von Bildern von Kindern aus den Trainingsdaten die Fähigkeit eines Modells, Bilder von Kindern zu generieren, wirksam einschränken kann.
Filtern hilft zwar, löst das Problem aber nicht
Um diese Frage zu beantworten, haben die Forscher mithilfe ihres eigenen Bewertungsrahmens mehr als zwanzig automatisierte Verfahren zur Erkennung und Entfernung von Bildern, auf denen Kinder zu sehen sind, ausgewertet. „Wir wollten verstehen, wie effektiv Bilder von Kindern in umfangreichen Trainingsdatensätzen identifiziert und entfernt werden können“, sagt Cretu. Die Forschenden stellten fest, dass die bewerteten Methoden etwa 94 Prozent der Bilder, die Kinder zeigen, erkannten. „Das mag zwar hoch klingen, ist aber bei weitem nicht perfekt“, erklärt die Forscherin. „In Datensätzen mit Milliarden von Bildern bleibt selbst bei einer geringen Fehlerquote eine beträchtliche Anzahl von Bildern mit Kindern übrig. Daraus schließen wir, dass aktuelle Methoden zur Erkennung von Kindern nicht präzise genug sind, um Kinder umfassend aus großen Trainingsdatensätzen herauszufiltern.“ Die genauesten Methoden waren zudem sehr rechenintensiv.
Die Grenzen der Datensatzfilterung ausloten
In einer zweiten Phase untersuchten Cretu und ihre Kolleg:innen, ob das Herausfiltern dieser Bilder tatsächlich die Fähigkeit eines Modells einschränkt, Bilder zu generieren, die Kinder darstellen. Sie trainierten Text-zu-Bild-Modelle von Grund auf: sowohl mit gefilterten als auch mit ungefilterten Datensätzen unter Verwendung von zwei öffentlich zugänglichen Bildbeschriftungs-Datensätzen. Anschließend verglichen sie, wie schwierig es war, ein harmloses Stellvertreterkonzept für CSAM zu erzeugen: Kinder mit Brille. Ihre Ergebnisse zeigten, dass die Filterung eine solche Generierung zwar erschwert, jedoch nur in begrenztem Umfang: Es waren bis zu zehn zusätzliche Prompts erforderlich, um das gewünschte Ergebnis zu erzielen. „Durch die Filterung lassen sich Bilder, die Kinder zeigen, zwar schwerer generieren, aber nicht schwer genug, um einen entschlossenen Nutzer aufzuhalten“, erklärt Cretu. „Wenn jemand darauf aus ist, diese Systeme zu missbrauchen, wäre er also in der Lage, seine Ziele mit relativ geringem Zusatzaufwand zu erreichen.“
Nebenwirkungen auf das Modellverhalten
Die Studie deckte zudem potenzielle unbeabsichtigte Folgen der Datensatzfilterung auf. Denn Bilder, die Kinder zeigen, enthalten oft viele andere Konzepte wie Eltern, Spielzeug und Spielplätze. „Wenn diese Bilder aus den Trainingsdaten entfernt werden, verringert sich auch die Häufigkeit aller damit verbundenen Konzepte“, erklärt Cretu. „Dies kann die allgemeinen Fähigkeiten eines Modells beeinträchtigen und unbeabsichtigte Verzerrungen hervorrufen.“ Um diese Effekte zu untersuchen, testeten die Forschenden Eingabeaufforderungen wie „Mutter“. Eine bemerkenswerte Erkenntnis war, dass Modelle, die auf ungefilterten Datensätzen trainiert wurden, häufig Bilder erzeugten, die Mütter zusammen mit Babys zeigten. In gefilterten Modellen verschwanden die Babys – wie erwartet –, aber die Frauen wirkten zudem deutlich älter. Diese Ergebnisse deuten darauf hin, dass das Filtern das Modellverhalten über das beabsichtigte Ziel hinaus verändern kann.
Ausblick
Cretu betont die Notwendigkeit größerer Transparenz und strengerer Bewertungen von Sicherheitsmaßnahmen: „Wir sind der Auffassung, dass Unternehmen, die KI-Modelle zur Bildgenerierung entwickeln, ihre Sicherheitsmaßnahmen transparent evaluieren, sie anhand realistischer Angriffsszenarien testen, die Ergebnisse ihrer Sicherheitstests veröffentlichen und mögliche unbeabsichtigte Auswirkungen systematisch bewerten sollten.“ Sie merkt an, dass viele Unternehmen die Umsetzung von Empfehlungen zum Kinderschutz öffentlich unterstützen, ohne transparent darzulegen, welche Maßnahmen tatsächlich umgesetzt wurden oder wie wirksam sie sind. Für Forschende bleiben viele Fragen offen: „Wir benötigen bessere Methoden zur Bewertung der Fähigkeiten von KI-Modellen und – im Fall potenziell missbräuchlicher Fähigkeiten wie der Generierung von CSAM – robustere Proxys, die feindliche Absichten abbilden, zugleich aber Forschenden ermöglichen, Modelle auf ethische und rechtlich zulässige Weise einem Red-Teaming zu unterziehen.“ Letztlich geht das Ziel von Cretu über die Bewertung eines einzelnen Sicherheitsmechanismus hinaus: Es zielt darauf ab, einen strengeren und transparenteren Gesamtprozess zur Evaluierung von KI-Sicherheitsmaßnahmen zu etablieren.
Crețu, Ana-Maria; Kireev, Klim; Abdalla, Amro; Obinna, Wisdom; Meier, Raphael; Bargal, Sarah Adel; et al. (2026). Evaluating Concept Filtering Defenses against Child Sexual Abuse Material Generation by Text-to-Image Models. CISPA. Conference contribution. https://doi.org/10.60882/cispa.32771970.v1
Visualisierung zum Paper "Evaluating Concept Filtering Defenses against Child Sexual Abuse Material ...
Copyright: CISPA
Merkmale dieser Pressemitteilung:
Journalisten
Informationstechnik
überregional
Forschungsergebnisse
Deutsch
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).
