idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
idw - Informationsdienst
Wissenschaft
Bevor Maschinen überlistet werden
Die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) hat am 6. März 2023 eine Ausschreibung zum „Robusten und Sicheren Maschinellen Lernen“ veröffentlicht. Ziel ist die Steigerung der Verlässlichkeit und Manipulationssicherheit verschiedener KI-Ansätze. Das mehrphasige Projekt soll während der fünfjährigen Laufzeit unterschiedliche Innovationsansätze vorantreiben.
Mit „Robustem und Sicherem Maschinellen Lernen“ (RSML) wird das größte Forschungsprojekt der Cyberagentur zur Sicherheit Künstlicher Intelligenz (KI) vor dem Hintergrund des rasant wachsenden Einsatzes von KI-Systemen in allen Bereichen von Gesellschaft bis Industrie ausgeschrieben.
In den vergangenen Jahren hat sich das Maschinelle Lernen (ML) in verschiedenen Ausprägungen angesichts stetig steigender Performance und zunehmender Vielseitigkeit zu einem maßgeblichen Analysewerkzeug für immer größere und komplexere Datenmodelle entwickelt. Als Beispiel sei hier die Bildererkennung beim autonomen Fahren genannt. Ein grundlegendes Problem: Schon unscheinbare Änderungen an Verkehrsschildern können zu einer Fehlfunktion des Fahralgorithmus führen. Die Erforschung beweisbarer Sicherheit und deren Grenzen sowie inhärente Robustheit gegenüber solchen Angriffen steht dabei noch am Anfang. Größte Schwachstellen des maschinellen Lernens sind die große Abhängigkeit von Trainingsdaten und die Intransparenz der trainierten Modelle. Dadurch führen unerwartete Eingaben mitunter zu unvorhergesehenen und schwer nachvollziehbaren – und im Einzelfall möglicherweise katastrophalen – Ergebnissen. Ein weiteres Beispiel findet sich in der aktuellen Diskussion um KI-Chatbots. Mittels manipulierter Befehle („Prompt Injection“) können Sprachmodelle nachweislich zu unbeabsichtigten und potenziell folgenschweren Aussagen verleitet werden.
Vor diesem Hintergrund wurde das neue Forschungsvorhaben von den Wissenschaftlerinnen und Wissenschaftlern der Cyberagentur entwickelt. „Ziel ist die Erforschung und Entwicklung neuer, potenziell bahnbrechender Ansätze zur Steigerung der Robustheit und Sicherheit verschiedener KI-Ansätze in den Domänen der inneren und äußeren Sicherheit“, erklärt Dr. Daniel Gille, Projektleiter und Leiter „Sicherheit durch KI und Sicherheit für KI“ in der Cyberagentur, den Ansatz der Ausschreibung des Forschungsprojektes.
Für den fünf Phasen umfassenden Projektwettbewerb wurden fünf wesentliche Forschungsschwerpunkte herausgestellt: Datenabsicherung, Modellverifikation, Systemeinbettung, Hybridmodelle aus neuronalen und symbolischen Komponenten sowie Ende-zu-Ende-Verifikation. „Wir möchten Antworten auf einige der ungelösten Fragen im oft vernachlässigten Themenbereich Sicherheit für KI finden“, setzt Dr. Gille fort. „Diese sind beispielsweise: Wie und in welchem Umfang können Sicherheits- und Robustheitseigenschaften für spezifische Anwendungsdomänen und Systeme nachgewiesen werden? Wo liegen die Grenzen einer Nachweisbarkeit und wie lassen sich Systeme mit wünschenswerten Sicherheitseigenschaften als Prototyp realisieren?“
„Gerade im Kontext der inneren und äußeren Sicherheit sowie bei kritischen Infrastrukturen ist für uns die Nachweisbarkeit von Sicherheit und Robustheit von neuronalen KI-Systemen gegenüber gezielten Angriffen und manipulativen Inputs von entscheidender Bedeutung“, betont Projektleiter Gille. Hier möchte die Cyberagentur angesichts der geopolitischen Situation mit staatlichen und nichtstaatlichen Akteuren, die technisch versiert und am neuesten wissenschaftlichen Stand orientiert sind, wirksame Forschung stimulieren. Die im Fokus stehenden Systeme und Infrastrukturen werden zukünftig direkte Auswirkungen auf das Leben einer potenziell großen Anzahl von Menschen haben. Ein Maximum an Sicherheit beim Einsatz von Maschinellem Lernen ist in diesen Domänen daher unabdingbar. „Das kann momentan nicht gewährleistet werden“, erläutert Dr. Gille noch einmal den Hintergrund der Ausschreibung. „Die geplante Beauftragung soll dabei helfen, die wissenschaftlichen Grundlagen für dieses anzustrebende Maximum an Cybersicherheit von KI-Systemen zu schaffen und auszubauen.“
In den fünf Jahren Projektlaufzeit soll sowohl Grundlagenforschung stattfinden als auch Prototypen entstehen. Um innovative Ansätze entlang der fünf Forschungsschwerpunkte für ein breites Spektrum an möglichen Zukunftsanwendungen zu realisieren, plant die Cyberagentur die parallele Beauftragung mehrerer Bieterinnen und Bieter bzw. Bietergemeinschaften. Im Rahmen des geplanten „Wettbewerbs der Ideen“ sollen die Ergebnisse phasenweise evaluiert und das Teilnehmerfeld schrittweise verkleinert werden. Der überzeugendste Ansatz verbleibt bis zum Abschluss der letzten Phase im Wettbewerb. Dort erhalten die Teilnehmerinnen und Teilnehmer die Möglichkeit, entwickelte Artefakte im Rahmen einer realistischen Testumgebung zu erproben und evaluieren. Angebote abgeben können alle akademischen und außeruniversitären Forschungseinrichtungen, Industrieunternehmen und Startups.
Die Ausschreibung wurde im Supplement zum Amtsblatt der Europäischen Union mit der Vergabenummer 2023/S 070-206022 veröffentlicht: https://www.evergabe-online.de/tenderdetails.html?id=505660.
Kontakt
Michael Lindner
Pressesprecher der Cyberagentur
Tel.: +49 151 44150 645
E-Mail: presse@cyberagentur.de
Hintergrund: Cyberagentur
Die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) wurde im Jahr 2020 als vollständige Inhouse-Gesellschaft des Bundes unter der gemeinsamen Federführung des Bundesministeriums der Verteidigung und des Bundesministeriums des Inneren und für Heimat durch die Bundesregierung mit dem Ziel gegründet, einen im Bereich der Cybersicherheit anwendungsstrategiebezogenen und ressortübergreifenden Blick auf die Innere und Äußere Sicherheit einzunehmen. Vor diesem Hintergrund bezweckt die Arbeit der Cyberagentur maßgeblich eine institutionalisierte Durchführung von hochinnovativen Vorhaben, die mit einem hohen Risiko bezüglich der Zielerreichung behaftet sind, gleichzeitig aber ein sehr hohes Disruptionspotenzial bei Erfolg innehaben können.
Der Cyberagentur stehen Prof. Dr. Christian Hummert als Forschungsdirektor und Geschäftsführer sowie Daniel Mayer als kaufmännischer Direktor vor.
Dr. Daniel Gille
https://www.cyberagentur.de/bevor-maschinen-ueberlistet-werden/
https://www.evergabe-online.de/tenderdetails.html?id=505660
Dr. Daniel Gille, Leiter Sicherheit durch KI und Sicherheit für KI.
Andreas Stedtler
Cyberagentur
Criteria of this press release:
Business and commerce, Journalists, Scientists and scholars
Information technology, Mathematics, Physics / astronomy
transregional, national
Contests / awards, Research projects
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
