idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
KI rechtssicher gestalten
Forschungsprogramm FIS: Dem KI-Betrug auf der Spur
Mit der Vertragsunterzeichnung am 9. Dezember 2025 startet die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) das mehrjährige Forschungsprogramm „Forensik intelligenter Systeme (FIS)“. Drei ausgewählte Auftragnehmerinnen und Auftragnehmer starten ihre Arbeit, um neue Methoden zu entwickeln, damit intelligente Systeme künftig gerichtsverwertbar analysiert und auf Manipulationen überprüft werden können.
Ein KI-gestütztes Bewerbungssystem trifft automatisierte Vorauswahlen, indem es Lebensläufe nach bestimmten Merkmalen priorisiert. Doch was passiert, wenn eine Manipulation der Trainingsdaten dafür sorgen, dass Bewerberinnen oder Bewerber mit bestimmten Hintergründen systematisch benachteiligt werden? Oder wenn das System nach einem Update plötzlich signifikant andere Entscheidungen trifft? Die Blackbox-Logik vieler KI-Anwendungen macht solche Effekte kaum nachvollziehbar – mit potenziell weitreichenden Folgen für Unternehmen, Gesellschaft und Rechtsstaat.
Hier setzt FIS an. Die digitale Forensik liefert die Methodik, um digitale Spuren intelligent vernetzter Systeme zu sichern, zu analysieren und gerichtsfest auszuwerten. Noch fehlen jedoch Standards, Werkzeuge und Verfahren, um Manipulationen an sich verändernden, lernenden KI-Systemen zweifelsfrei zu erkennen und zu belegen. Das Forschungsprogramm „Forensik intelligenter Systeme (FIS)“ soll diese Lücke schließen und eine völlig neue Qualität digitaler Aufklärungsfähigkeit schaffen.
Die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) bringt mit FIS drei Teams zusammen, die sich aus renommierten Forschungseinrichtungen, Industriepartner:innen und rechtlicher Expertise zusammensetzen. Ziel ist es, Verfahren und Werkzeuge zu entwickeln, die das Verhalten von KI-Systemen transparent, rekonstruierbar und belastbar überprüfbar machen.
„Intelligente Systeme entscheiden heute über Sicherheit, Mobilität und gesellschaftliche Abläufe. Mit FIS schaffen wir erstmals eine Forschungsbasis, die es ermöglicht, KI nicht nur leistungsfähig, sondern auch forensisch überprüfbar, rechtssicher und damit vertrauenswürdig zu gestalten“, sagt Prof. Dr. Christian Hummert, Forschungsdirektor der Cyberagentur.
Daher war es den Forschenden der Cyberagentur wichtig, verschiedene Ansätze mit der Lösung des Forschungsprogramms zu beauftragen und deren Arbeit zu finanzieren:
INSIDE – Intelligente Text- und Audioverarbeitung
Das Forschungsprojekt „INtelligent Security Inspection of Data using forensic Extraction and Analysis (INSIDE)“ verfolgt das Ziel, die Grundlagen für eine forensische Auditierbarkeit („Forensic Readiness“) zukünftiger KI-Systeme zu schaffen. Im Mittelpunkt steht die Entwicklung und Erprobung innovativer forensischer Methoden, um Manipulationen, Angriffe und Anomalien in textbasierten KI-Anwendungen – insbesondere im Bereich Cybersicherheit und bei der Analyse von Netzwerk- und Textdaten – systematisch, nachvollziehbar und rechtssicher nachweisen zu können.
INSIDE adressiert dabei sowohl technische als auch juristische Herausforderungen: Es werden forensische Verfahren entwickelt, die nicht nur den aktuellen Stand der Technik abbilden, sondern auch die Anforderungen an Beweisführung und Compliance gemäß geltender EU-Regulierung (z. B. AI Act) erfüllen.
Ziel ist es, die Nachvollziehbarkeit, Integrität und Transparenz von KI-Systemen zu stärken und damit eine belastbare Grundlage für technische Souveränität, Rechtssicherheit und vertrauenswürdige künstliche Intelligenz im digitalen Raum zu schaffen.
Das Projekt vereint führende Expert:innen aus Künstlicher Intelligenz, Cybersicherheit, digitaler Forensik und IT-Recht von der Technischen Hochschule Mannheim, dem Institute for Security and Safety, der Universität der Bundeswehr München, der University of Twente, dem cyberintelligence.institute GmbH (CII) und dem FZI Forschungszentrum Informatik.
EMAS-KI – Intelligente Bild- und Videoverarbeitung
Das Konsortium rund um Atos, das Fraunhofer-Institut für Angewandte und Integrierte Sicherheit AISEC, dem Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS, dem Institut für Internet-Sicherheit der Westfälischen Hochschule und der Universität zu Köln arbeitet im Projekt EMAS-KI an der Entwicklung gerichtsfester Methoden für kontinuierlich lernende Bild- und Video-KI-Systeme.
Das Forschungsprojekt, für das sich die beteiligten Parteien seit 2023 mit einem vorausgehenden Kurzkonzept und Langkonzept qualifiziert haben, erarbeitet prototypische Methoden und Tools, die eine gerichtsfeste Detektion von Manipulationen an kontinuierlich lernenden KI-Systemen ermöglichen sollen. Dazu wird in einem Forschungslabor eine Simulationsumgebung eingerichtet, in der Software für forensische Methoden getestet werden können. Vorhandene KI-Modelle werden simulierten Angriffen ausgesetzt, um zu untersuchen, welche juristisch verwertbaren Spuren gesichert werden können. Zusätzlich sollen KI-Algorithmen so angepasst werden, dass eine frühzeitige Erkennung möglich wird.
FORAImobility – Forensik autonomer Systeme
Die ZF Friedrichshafen AG führt gemeinsam mit der Forschungsinitiative „Recht und Digitalisierung“ des Zentrums für Human | Data | Society der Universität Konstanz das Konsortium FORAImobility an. Ziel ist die Entwicklung innovativer Methoden, um Manipulationen und Angriffe auf KI-basierte autonome Systeme im Bereich der Mobilität zu erkennen und gerichtsfest nachweisen zu können.
Autonome Systeme wie selbstfahrende Fahrzeuge sind hochkomplex und werden zukünftig kontinuierlich hinzulernen. Hierfür müssen sie sicher gegen neuartige Cyberangriffe geschützt werden. Das Projekt adressiert diese Herausforderungen, indem es Konzepte für „Forensic Readiness“ und „Forensic-by-Design“ entwickelt, also die Fähigkeit, forensische Nachweise bereits in die Systemarchitektur zu integrieren.
ZF bringt seine umfassende Expertise in den Bereichen Cybersecurity, IT-Forensik und neuronale Netze ein und arbeitet dabei eng mit der Forschungsinitiative „Recht und Digitalisierung“ des Zentrums für Human | Data | Society der Universität Konstanz zusammen. Gemeinsam sollen Lösungen entstehen, die sowohl technologisch als auch rechtlich belastbar sind. Das Forschungsprogramm wird über mehrere Jahre laufen und hat eine hohe gesellschaftliche und technologische Relevanz.
Einblick in die Zukunft: Vertrauenswürdige KI als Infrastrukturprinzip
Ob in Bewerbungsverfahren, in der Telemedizin oder in vernetzten Verkehrsflüssen – Künstliche Intelligenz wird in den kommenden Jahren tief in Alltagsprozesse integriert sein. Die Ergebnisse des FIS-Programms sollen dafür sorgen, dass diese Systeme erklärbar, manipulationsresistent und im Ernstfall rechtsstaatlich bewertbar bleiben. FIS schafft die Grundlagen, damit KI-Systeme nicht nur funktionieren, sondern auch das Vertrauen einer freien und digitalen Gesellschaft verdienen.
Weitere Informationen:
https://www.cyberagentur.de/programme/fis/
Kontakt:
Agentur für Innovation in der Cybersicherheit GmbH
Große Steinstraße 19
06108 Halle (Saale)
Michael Lindner
Pressesprecher
Tel.: +49 151 44150 645
E-Mail: presse@cyberagentur.de
Hintergrund: Cyberagentur
Die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) wurde im Jahr 2020 als vollständige Inhouse-Gesellschaft des Bundes unter der gemeinsamen Federführung des Bundesministeriums der Verteidigung und des Bundesministeriums des Inneren und für Heimat durch die Bundesregierung mit dem Ziel gegründet, einen im Bereich der Cybersicherheit anwendungsstrategiebezogenen und ressortübergreifenden Blick auf die Innere und Äußere Sicherheit einzunehmen. Vor diesem Hintergrund bezweckt die Arbeit der Cyberagentur maßgeblich eine institutionalisierte Durchführung von hochinnovativen Vorhaben, die mit einem hohen Risiko bezüglich der Zielerreichung behaftet sind, gleichzeitig aber ein sehr hohes Disruptionspotenzial bei Erfolg innehaben können.
Die Cyberagentur ist Bestandteil der Nationalen Sicherheitsstrategie der Bundesrepublik Deutschland.
Der Cyberagentur stehen als Geschäftsführung Prof. Dr. Christian Hummert als Forschungsdirektor und Bettina Bubnys als kaufmännische Geschäftsführung vor.
Olivia Gräupner, Forschungsreferentin Sichere Gesellschaft und Programmleiterin FIS
https://www.cyberagentur.de/programme/fis/
Projektstart für das Forschungsprogramm „Forensik intelligenter Systeme“ (FIS) mit den drei Projektt ...
Quelle: Cyberagentur
Copyright: Cyberagentur
Merkmale dieser Pressemitteilung:
Journalisten, Studierende, Wirtschaftsvertreter, Wissenschaftler
Gesellschaft, Informationstechnik, Politik, Recht, Wirtschaft
überregional
Forschungsprojekte, Kooperationen
Deutsch
Projektstart für das Forschungsprogramm „Forensik intelligenter Systeme“ (FIS) mit den drei Projektt ...
Quelle: Cyberagentur
Copyright: Cyberagentur
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).
