idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
idw - Informationsdienst
Wissenschaft
25 Millionen Euro für robustes und sicheres Maschinelles Lernen
Cyberagentur will KI sicherer machen
Mit drei innovativen Ansätzen für die Absicherung von KI-Systemen startet die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) die dritte Phase ihres Forschungsprogramms „Robustes und Sicheres Maschinelles Lernen“. Ziel ist die Entwicklung von Werkzeugen, Anwendungen und Konzepten, die selbst unter feindseligen Bedingungen Sicherheit garantieren können. Die Forschung konzentriert sich auf Anwendungen in kritischen Infrastrukturen, Lagezentren und OSINT und fokussiert im ersten Schritt auf die Absicherung der Datengrundlage neuronaler KI-Systeme.
Die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) leitet die dritte Phase ihres Forschungswettbewerbs „Robustes und Sicheres Maschinelles Lernen“ (RSML) ein. Von Dezember 2024 bis November 2025 werden drei ausgewählte Forschungsteams innovative Ansätze zur Sicherung und Robustheit maschineller Lernsysteme erforschen und umsetzen. Für die Phasen 2 bis 5 hat die Cyberagentur ein Budget von insgesamt 25 Millionen Euro bereitgestellt. Eine abschließende Phase 6, die in etwa drei Jahren starten soll, wird an das Forschungsteam mit der innovativsten Forschungsleistung in den Phasen 3-5 und dem überzeugendsten Angebot für Phase 6 vergeben.
„Mit der dritten Phase von RSML starten wir in die Erforschung bahnbrechender Technologien, die nicht nur theoretische Grundlagen schaffen, sondern auch praktische Lösungen für die Sicherheitsbedarfe von morgen liefern können“, erklärt Dr. Daniel Gille, Projektleiter und Referatsleiter für Künstliche Intelligenz bei der Cyberagentur. „Unsere Forschungsteams arbeiten ab sofort an datenzentrischen Lösungen, die Sicherheit und Resilienz in hochsensiblen Anwendungsbereichen wie Lagezentren und kritischen Netzwerkinfrastrukturen sicherstellen sollen.“
Die drei Konsortien widmen sich dabei den folgenden Ansätzen:
1. Modulares Toolkit mit End-to-End-Bewertungsworkflows: Entwicklung neuer Metriken und Tools für die geleitete Entwicklung abgesicherter ML-Systeme.
2. Hybride KI-gestützte Red/Blue-Team-Agenten: Diese Agenten sollen schutzbedürftige Systeme sowie die zugehörigen Sicherungs-KIs wechselseitig testen und absichern.
3. Holistisches Framework für sichere ML-Anwendungen: Ein umfassendes Verifikationssystem mit Bedrohungsmodellierung und einem „RSML Operations Center“ als zentrale Schnittstelle.
„Die Entwicklung und Integration hochgradig verlässlicher KI-Systeme ist eine der größten Herausforderungen unserer Zeit. Gerade in sicherheitskritischen Anwendungen müssen diese Systeme nicht nur zuverlässig, sondern auch nachweisbar manipulationssicher sein“, betont Dr. Gille. „Mit den Ansätzen der dritten Phase richten wir den Fokus auf Daten, die das Fundament aller Deep Learning-Anwendungen sind, darunter Large Language Models und Bildklassifikationssysteme. Oft sind die zum Training verwendeten Daten unvollständig, nicht repräsentativ, schlecht gelabelt oder gar manipuliert. Das ist die Wurzel vieler nachgelagerter Sicherheits- und Verlässlichkeitsprobleme, für die wir Lösungen finden wollen.“
Das Forschungsprogramm RSML verfolgt einen einzigartigen Ansatz, indem es Forschung und Entwicklung über mehrere Phasen hinweg wettbewerbsorientiert finanziert. Die Ergebnisse sollen nicht nur die wissenschaftliche Basis erweitern, sondern auch prototypische Anwendungen hervorbringen, die in realistischen Testumgebungen evaluiert werden.
Dr. Daniel Gille, Projektleiter und Referatsleiter für Künstliche Intelligenz bei der Cyberagentur Foto: Andreas Stedtler/Cyberagentur
https://www.cyberagentur.de/presse/cyberagentur-will-ki-sicherer-machen/
https://www.cyberagentur.de/rsml/
Dr. Daniel Gille, Projektleiter und Referatsleiter für Künstliche Intelligenz bei der Cyberagentur
Andreas Stedtler
Cyberagentur
Criteria of this press release:
Business and commerce, Journalists, Scientists and scholars
Economics / business administration, Information technology, Mathematics, Physics / astronomy
transregional, national
Contests / awards, Research projects
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
