idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
idw - Informationsdienst
Wissenschaft
Ob beim Hochladen auf einer Webseite, beim Versenden per Messenger, dem Post auf Social Media oder der Verarbeitung durch Künstliche Intelligenz – digitale Bilder werden oft mithilfe von Algorithmen verkleinert. Vor einem Jahr entdeckten chinesische Wissenschaftlerinnen und Wissenschaftler, dass Bilder bei einer solchen Skalierung unbemerkt manipuliert werden können. Ein Forschungsteam vom Institut für Systemsicherheit der Technischen Universität Braunschweig hat diese Angriffstechnik jetzt genauer untersucht und eine Verteidigung entwickelt. Die Ergebnisse stellen sie heute, am 13. August 2020, auf dem USENIX Security Symposium, einer der weltweit wichtigsten Sicherheitskonferenzen, vor.
Um ein digitales Bild zu verkleinern, berücksichtigen Algorithmen bei der Berechnung nicht alle Bildpunkte (Pixel) gleich. Je nach Bildgröße und Algorithmus fließen viele Pixel kaum oder gar nicht in die Verkleinerung ein. Hier können Angreifende ansetzen und nur die Pixel verändern, die für die Skalierung relevant sind. „Das merkt man optisch fast nicht, es entsteht lediglich ein leichtes Rauschen im Bild. Wenn das Bild dann verkleinert wird, bleiben nur die manipulierten Punkte übrig und erzeugen ein neues Bild, das der Angreifer frei bestimmen kann“, erklärt Professor Konrad Rieck, Leiter des Instituts für Systemsicherheit.
Bedrohung für lernbasierte Systeme
Solche Angriffe sind besonders für lernbasierte Systeme, die mit Künstlicher Intelligenz (KI) arbeiten, eine Bedrohung: Die Skalierung von Bildern ist ein sehr häufiger Verarbeitungsschritt, um Bilder durch maschinelles Lernen analysieren zu können. „Bei dieser Angriffstechnik sieht der Mensch ein anderes Bild als das Lernverfahren. Der Mensch sieht das Originalbild, während die künstliche Intelligenz das verkleinerte, manipulierte Bild verarbeitet und damit lernt“, so Rieck.
Ein Beispiel: Möchte man ein KI-System trainieren, das Straßenschilder erkennen soll, gibt der Mensch dem Lernverfahren unterschiedliche Aufnahmen von beispielsweise Stoppschildern vor. Sind die Bilder manipuliert worden, erzeugt die Skalierung im KI-System ein komplett anderes Bild, zum Beispiel ein Vorfahrtsschild. Das System lernt einen falschen Zusammenhang und erkennt später keine Stoppschilder. Solche Angriffe sind für alle sicherheitsrelevanten Anwendungen eine Bedrohung, bei denen Bilder verarbeitet werden. Unbemerkt kann die Bildanalyse sabotiert werden und zu falschen Vorhersagen führen.
Verteidigung made in Braunschweig
Wie aber kann man sich gegen solche Angriffe schützen? Angreifende nutzen aus, dass nicht alle Pixel gleichermaßen in die Bildverkleinerung einfließen. „Genau hier setzt unsere Verteidigung an: Wir haben eine Methode entwickelt, die sicherstellt, dass alle Pixel gleichermaßen für die Verkleinerung genutzt werden“, so Konrad Rieck. „Unsere Methode bestimmt dafür, welche Pixel für eine Skalierung relevant sind und rechnet den Rest des Bildes geschickt in diese ein. Optisch kann man diese Änderung nicht sehen. Ein Angriff wird dadurch aber unmöglich.“ Die Verteidigung kann leicht in existierende KI-Systeme integriert werden, da sie keine Änderungen an der Bildverarbeitung und dem Lernvorgang benötigt. „Bisher sind noch keine Angriffsfälle bekannt. Wir hoffen, dass unsere Analyse und Verteidigung helfen, dass es dazu auch nicht mehr kommt“, sagt Rieck.
Prof. Dr. Konrad Rieck
Technische Universität Braunschweig
Institut für Systemsicherheit
Rebenring 56
38106 Braunschweig
Tel.: 0531 391-55120
E-Mail: k.rieck@tu-braunschweig.de
www.tu-braunschweig.de/sec
Erwin Quiring
Technische Universität Braunschweig
Institut für Systemsicherheit
Rebenring 56
38106 Braunschweig
Tel.: 0531 391- 55130
E-Mail: e.quiring@tu-bs.de
www.tu-braunschweig.de/sec
Erwin Quiring, David Klein, Daniel Arp, Martin Johns and Konrad Rieck: Adversarial Preprocessing: Understanding and Preventing Image-Scaling Attacks in Machine Learning. Proc. of USENIX Security Symposium 2020.
http://scaling-attacks.net Die Veröffentlichung und die Implementierung der Verteidigung sind auf der Webseite des Forschungsprojekts verfügbar.
https://magazin.tu-braunschweig.de/pi-post/informatiker-der-tu-braunschweig-entw... Pressemitteilung mit Beispielbildern
Merkmale dieser Pressemitteilung:
Journalisten, Wissenschaftler
Informationstechnik
überregional
Forschungsergebnisse
Deutsch
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).
