Eine neuartige Attacke erlaubt es Angreifer:innen, Machine-Learning-Modellen unentdeckt neue Aufgaben unterzujubeln und diese für sie arbeiten zu lassen. Ahmed Salem hat diese sogenannte „Model Hijacking Attack“ (dt.: Modell-Entführungsattacke) während seines PhD-Studiums am CISPA entwickelt. Sein Paper „Get a Model! Model Hijacking Attack Against Machine Learning Models“ stellt er auch auf der renommierten IT-Sicherheitskonferenz NDSS vor.
Maschinelles Lernen gilt als Schlüsseltechnologie der Künstlichen Intelligenz und kommt zum Beispiel in vielen sensiblen Bereichen wie dem autonomen Fahren, bei Finanzanwendungen oder in Authentifizierungslösungen wie Face ID zum Einsatz. Mithilfe von Lernalgorithmen werden mittlerweile komplexe Modelle entwickelt, die aus Erfahrung klug werden und so selbständig Vorhersagen und Entscheidungen treffen können. Ähnlich einem Menschen, der sich durch das Lesen vieler Bücher weiterbildet, benötigt ein Modell in der Trainingsphase viel Dateninput, um später gut zu funktionieren. „Da Trainingsdaten schwer zu beschaffen sind und teils Millionen Datensätze für das Training gebraucht werden, arbeiten häufig verschiedene Nutzer:innen zusammen, um ein Modell mit den entsprechenden Datensätzen zu trainieren. Daten aus verschiedenen Quellen zusammenzuführen, birgt allerdings Risiken“, sagt Salem.
Mit sogenannten „Data Poisoning Attacks“ (dt.: Datenvergiftungsattacken) können Daten und damit die Modelle schon während des Trainingsprozesses manipuliert werden. „Zum Beispiel könnte das Bild eines Apfels als Banane gelabelt werden und so das Modell in die Irre geführt werden“, erklärt Salem. Solche Attacken sind normalerweise recht einfach zu entdecken, da die manipulierten Datensätze anders aussehen und zudem die Modelle die Original-Aufgabe nach einer Manipulation nicht mehr gut erfüllen. Den Eingriff zu verschleiern ist allerdings möglich. Mehr noch ist sogar möglich, das Modell zusätzlich zur eigentlichen Aufgabe eine fremde Aufgabe ausführen zu lassen, ohne dass die Modell-Eigentümer:innen es merken, wie Ahmed Salem in seinem Paper zeigt.
Angreifer:innen können so nicht nur die mittlerweile enorm kostspieligen Modelle kapern und kostenlos nutzen. Die Attacke kann auch zu rechtlichen Risiken für die Modelleigentünmer:innen führen, die unbemerkt ihre Modelle unter Umständen auch für illegale oder unethische Zwecke hergeben. „Angreifer:innen könnten zum Beispiel ein Modell so manipulieren, dass es für sie massenweise Hasskommentare produziert, die dann über die Sozialen Medien verteilt werden können“, erklärt Salem.
Es existieren laut dem Forscher schon Verteidigungsmechanismen, die gegen Model-Hijacking-Angriffe eingesetzt werden können. „Leider reduzieren diese Mechanismen häufig auch signifikant die Funktion der Modelle“, sagt Salem. Hier entsprechende Lösungen zu finden, die sowohl wirksam gegen die Angriffe sind als auch so wenig wie möglich in die Funktionalität der Modelle eingreifen, sei ein interessantes künftiges Forschungsfeld.
Ahmed Salem hat inzwischen sein PhD-Studium am CISPA abgeschlossen und arbeitet seit Februar 2022 als Postdoc bei Microsoft Research in Cambridge. Neben Datenschutz und Privatsphäre von Machine-Learning-Modellen beschäftigt ihn auch angewandte Kryptografie.
Über das CISPA:
Das CISPA Helmholtz-Zentrum für Informationssicherheit ist eine Großforschungseinrichtung des Bundes innerhalb der Helmholtz-Gemeinschaft. Die Wissenschaftlerinnen und Wissenschaftler erforschen die Informationssicherheit in all ihren Facetten. Sie betreiben modernste Grundlagenforschung sowie innovative anwendungsorientierte Forschung und arbeiten an drängenden Herausforderungen der Cybersicherheit, der Künstlichen Intelligenz und des Datenschutzes. CISPA-Forschungsergebnisse finden Einzug in industrielle Anwendungen und Produkte, die weltweit verfügbar sind. Damit stärkt das CISPA die Konkurrenzfähigkeit Deutschlands und Europas. Es fördert außerdem Talente und ist eine Kaderschmiede für hervorragend ausgebildete Fach- und Führungskräfte für die Wirtschaft. So trägt das CISPA sein Know-how auch in die Zukunft.
Eine neuartige Attacke erlaubt es Angreifer:innen, Machine-Learning-Modellen unentdeckt neue Aufgabe ...
Merkmale dieser Pressemitteilung:
Journalisten, Wissenschaftler, jedermann
Informationstechnik
überregional
Forschungsergebnisse, Forschungsprojekte
Deutsch
Eine neuartige Attacke erlaubt es Angreifer:innen, Machine-Learning-Modellen unentdeckt neue Aufgabe ...
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).