idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
KI-Training unter Beschuss – Cyberagentur setzt auf Abwehrstrategie
Phase 4 des RSML-Programms startet mit Fokus auf sichere KI-Trainingsprozesse
Nach erfolgreicher Auswertung der Projektphase 3 beginnt die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) mit Phase 4 ihres Forschungsprogramms „Robustes und Sicheres Maschinelles Lernen“ (RSML). Drei verbleibende Konsortien arbeiten nun daran, den Trainingsprozess von KI-Systemen gegen Manipulationen abzusichern – ein weiterer Schritt hin zu nachweisbar robusten KI-Anwendungen für kritische Infrastrukturen.
Phase 4 des Forschungswettbewerbs RSML startete. Nachdem Phase 3 kürzlich erfolgreich evaluiert wurde, gehen die drei verbliebenen Auftragnehmer in die nächste Runde. Die neue Projektphase legt den Schwerpunkt auf die Absicherung des KI-Trainings („Trainingsabsicherung“). Am Ende von Phase 4 erfolgt erneut eine Zwischenbewertung der Ergebnisse im Rahmen des wettbewerblichen Verfahrens, um den Fortschritt zu messen und gegebenenfalls das Teilnehmerfeld weiter einzugrenzen. Damit bleibt das Ziel fest im Blick: die Entwicklung nachweislich robuster und sicherer KI-Systeme für den Einsatz in sicherheitskritischen Bereichen wie z. B. Energie, Gesundheit oder Kommunikationsinfrastrukturen.
Das RSML-Programm wurde 2023 ausgeschrieben und erstreckt sich über fünf Jahre. Es wird wettbewerbsorientiert in mehreren Phasen durchgeführt und vom Bund mit insgesamt 25 Millionen Euro finanziert. Inhaltlich gliedert sich das Programm in fünf zentrale Forschungssäulen:
• Datenabsicherung – automatisierte Gewährleistung der Datenqualität und -integrität,
• Modellverifikation – formale Überprüfung von KI-Modellen auf Korrektheit und Robustheit,
• Systemeinbettung – sichere Integration von KI in operative Systeme und Prozesse,
• Hybridmodelle – Kombination symbolischer und neuronaler KI-Ansätze für mehr Transparenz,
• Ende-zu-Ende-Verifikation – durchgängige Überprüfung der Sicherheitsgarantien über den gesamten Lebenszyklus.
Dieses Forschungsprogramm ist Teil der Nationalen Sicherheitsstrategie der Bundesregierung und adressiert mit seinen Ergebnissen die wachsenden Sicherheitsanforderungen im KI-Bereich. Im Rahmen des RSML-Wettbewerbs finanziert die Cyberagentur mehrere Lösungsansätze parallel. Jede Phase schließt mit einer Evaluation ab, und nur die überzeugendsten Konzepte gelangen in die nächste Runde. Die visionärste Lösung soll am Ende in einer realitätsnahen Testumgebung erprobt werden, um ihr Potenzial für die Inneren und Äußeren Sicherheitsbedürfnisse Deutschlands zu demonstrieren.
Phase 3 des RSML-Programms, die von Dezember 2024 bis November 2025 lief, hatte den Fokus Datenabsicherung und wurde jüngst erfolgreich abgeschlossen. Die bisherigen Ergebnisse aus dieser Phase unterstreichen die Bedeutung einer manipulationssicheren Datengrundlage für KI-Systeme. „Oft sind die zum Training verwendeten Daten unvollständig, schlecht beschriftet oder sogar manipuliert. Das ist die Wurzel vieler späterer Sicherheits- und Zuverlässigkeitsprobleme, für die wir Lösungen finden wollen“, betonte Dr. Daniel Gille, Projektleiter RSML, bereits anlässlich der vorherigen Projektphase. Entsprechend widmeten sich die drei Konsortien in Phase 3 innovativen Ansätzen, um die Datenbasis von KI-Modellen abzusichern. So wurde unter anderem ein modulares Toolkit mit End-to-End-Bewertungsabläufen entwickelt, das neue Metriken und Werkzeuge für die gezielte Entwicklung verlässlicher ML-Systeme bereitstellt. Ein zweiter Ansatz erforschte hybride KI-gestützte Red/Blue-Team-Agenten, die schutzbedürftige Systeme und ihre Sicherungsmechanismen wechselseitig testen, um Verwundbarkeiten aufzudecken. Als drittes entstand ein holistisches Verifikations-Framework mit umfassender Bedrohungsmodellierung und einem zentralen „RSML Operations Center“ als Schnittstelle. Diese Ergebnisse bilden die Grundlage für die nächste Phase und flossen in die Planung von Phase 4 ein.
Mit Phase 4 adressiert das RSML-Programm nun den nächsten kritischen Baustein: die Sicherung des Trainingsprozesses neuronaler KI-Modelle. Dabei geht es darum, schon während des Lernens von KI-Systemen gezielte Angriffe – etwa Datenmanipulationen oder vergiftete Trainingsdaten – abzuwehren, sodass die Modelle von Beginn an robust und vertrauenswürdig sind. „Gerade in kritischen Infrastrukturen muss der Trainingsprozess einer KI von Anfang an gegen Manipulationen geschützt sein“, unterstreicht Dr. Daniel Gille, Referatsleiter Künstliche Intelligenz und Projektleiter RSML bei der Cyberagentur. „Trainingssicherheit bildet die Basis, um KI-Systeme mit nachweisbarer Robustheit und Zuverlässigkeit für sicherheitskritische Anwendungen zu entwickeln. Wenn bereits das Lernen einer KI abgesichert ist, können wir ihren Einsatz etwa in Energieversorgung, Verkehr oder Kommunikation wesentlich vertrauenswürdiger gestalten.“ Durch den Fokus auf Trainingsabsicherung in Phase 4 werden die Weichen dafür gestellt, dass zukünftige KI-Anwendungen nicht nur auf sicheren Daten basieren, sondern auch sicher trainiert wurden.
Phase 4 untermauert nun die übergeordnete Bedeutung des RSML-Programms für die KI-Sicherheit. Die Erforschung von robustem und sicherem Maschinellem Lernen leistet einen wichtigen Beitrag dazu, dass Deutschland im Zeitalter zunehmender KI-Nutzung über verlässliche und überprüfbare KI-Systeme verfügt – insbesondere dort, wo ein Fehlverhalten gravierende Folgen hätte. Das Programm RSML demonstriert, wie innovative Forschungsförderung und Wettbewerb neue Wege aufzeigen, um KI-Systeme gegen heutige und zukünftige Bedrohungen zu rüsten. Mit Abschluss von Phase 4 und der anstehenden Zwischenevaluation rückt das Gesamtvorhaben seinem Ziel einen Schritt näher: am Ende ein KI-System hervorzubringen, das selbst unter widrigsten Bedingungen sicher funktioniert und damit das Vertrauen in KI-Technologien in sicherheitsrelevanten Anwendungen stärkt.
Weitere Informationen:
https://www.cyberagentur.de/programme/rsml/
Kontakt:
Agentur für Innovation in der Cybersicherheit GmbH
Große Steinstraße 19
06108 Halle (Saale)
Michael Lindner
Pressesprecher
Tel.: +49 151 44150 645
E-Mail: presse@cyberagentur.de
Hintergrund: Cyberagentur
Die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) wurde im Jahr 2020 als vollständige Inhouse-Gesellschaft des Bundes unter der gemeinsamen Federführung des Bundesministeriums der Verteidigung und des Bundesministeriums des Inneren und für Heimat durch die Bundesregierung mit dem Ziel gegründet, einen im Bereich der Cybersicherheit anwendungsstrategiebezogenen und ressortübergreifenden Blick auf die Innere und Äußere Sicherheit einzunehmen. Vor diesem Hintergrund bezweckt die Arbeit der Cyberagentur maßgeblich eine institutionalisierte Durchführung von hochinnovativen Vorhaben, die mit einem hohen Risiko bezüglich der Zielerreichung behaftet sind, gleichzeitig aber ein sehr hohes Disruptionspotenzial bei Erfolg innehaben können.
Die Cyberagentur ist Bestandteil der Nationalen Sicherheitsstrategie der Bundesrepublik Deutschland.
Der Cyberagentur stehen als Geschäftsführung Prof. Dr. Christian Hummert als Forschungsdirektor und Bettina Bubnys als kaufmännische Geschäftsführung vor.
Dr. Daniel Gille, Referatsleiter Künstliche Intelligenz
https://www.cyberagentur.de/presse/ki-training-unter-beschuss-cyberagentur-setzt...
https://www.cyberagentur.de/programme/rsml/
Dr. Daniel Gille, Referatsleiter Künstliche Intelligenz bei der Cyberagentur.
Source: Nancy Glor
Copyright: Cyberagentur
Criteria of this press release:
Business and commerce, Journalists, Scientists and scholars, Students
Economics / business administration, Electrical engineering, Information technology, Mathematics, Physics / astronomy
transregional, national
Research projects, Research results
German
Dr. Daniel Gille, Referatsleiter Künstliche Intelligenz bei der Cyberagentur.
Source: Nancy Glor
Copyright: Cyberagentur
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
