idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Ob beim Hochladen auf einer Webseite, beim Versenden per Messenger, dem Post auf Social Media oder der Verarbeitung durch Künstliche Intelligenz – digitale Bilder werden oft mithilfe von Algorithmen verkleinert. Vor einem Jahr entdeckten chinesische Wissenschaftlerinnen und Wissenschaftler, dass Bilder bei einer solchen Skalierung unbemerkt manipuliert werden können. Ein Forschungsteam vom Institut für Systemsicherheit der Technischen Universität Braunschweig hat diese Angriffstechnik jetzt genauer untersucht und eine Verteidigung entwickelt. Die Ergebnisse stellen sie heute, am 13. August 2020, auf dem USENIX Security Symposium, einer der weltweit wichtigsten Sicherheitskonferenzen, vor.
Um ein digitales Bild zu verkleinern, berücksichtigen Algorithmen bei der Berechnung nicht alle Bildpunkte (Pixel) gleich. Je nach Bildgröße und Algorithmus fließen viele Pixel kaum oder gar nicht in die Verkleinerung ein. Hier können Angreifende ansetzen und nur die Pixel verändern, die für die Skalierung relevant sind. „Das merkt man optisch fast nicht, es entsteht lediglich ein leichtes Rauschen im Bild. Wenn das Bild dann verkleinert wird, bleiben nur die manipulierten Punkte übrig und erzeugen ein neues Bild, das der Angreifer frei bestimmen kann“, erklärt Professor Konrad Rieck, Leiter des Instituts für Systemsicherheit.
Bedrohung für lernbasierte Systeme
Solche Angriffe sind besonders für lernbasierte Systeme, die mit Künstlicher Intelligenz (KI) arbeiten, eine Bedrohung: Die Skalierung von Bildern ist ein sehr häufiger Verarbeitungsschritt, um Bilder durch maschinelles Lernen analysieren zu können. „Bei dieser Angriffstechnik sieht der Mensch ein anderes Bild als das Lernverfahren. Der Mensch sieht das Originalbild, während die künstliche Intelligenz das verkleinerte, manipulierte Bild verarbeitet und damit lernt“, so Rieck.
Ein Beispiel: Möchte man ein KI-System trainieren, das Straßenschilder erkennen soll, gibt der Mensch dem Lernverfahren unterschiedliche Aufnahmen von beispielsweise Stoppschildern vor. Sind die Bilder manipuliert worden, erzeugt die Skalierung im KI-System ein komplett anderes Bild, zum Beispiel ein Vorfahrtsschild. Das System lernt einen falschen Zusammenhang und erkennt später keine Stoppschilder. Solche Angriffe sind für alle sicherheitsrelevanten Anwendungen eine Bedrohung, bei denen Bilder verarbeitet werden. Unbemerkt kann die Bildanalyse sabotiert werden und zu falschen Vorhersagen führen.
Verteidigung made in Braunschweig
Wie aber kann man sich gegen solche Angriffe schützen? Angreifende nutzen aus, dass nicht alle Pixel gleichermaßen in die Bildverkleinerung einfließen. „Genau hier setzt unsere Verteidigung an: Wir haben eine Methode entwickelt, die sicherstellt, dass alle Pixel gleichermaßen für die Verkleinerung genutzt werden“, so Konrad Rieck. „Unsere Methode bestimmt dafür, welche Pixel für eine Skalierung relevant sind und rechnet den Rest des Bildes geschickt in diese ein. Optisch kann man diese Änderung nicht sehen. Ein Angriff wird dadurch aber unmöglich.“ Die Verteidigung kann leicht in existierende KI-Systeme integriert werden, da sie keine Änderungen an der Bildverarbeitung und dem Lernvorgang benötigt. „Bisher sind noch keine Angriffsfälle bekannt. Wir hoffen, dass unsere Analyse und Verteidigung helfen, dass es dazu auch nicht mehr kommt“, sagt Rieck.
Prof. Dr. Konrad Rieck
Technische Universität Braunschweig
Institut für Systemsicherheit
Rebenring 56
38106 Braunschweig
Tel.: 0531 391-55120
E-Mail: k.rieck@tu-braunschweig.de
www.tu-braunschweig.de/sec
Erwin Quiring
Technische Universität Braunschweig
Institut für Systemsicherheit
Rebenring 56
38106 Braunschweig
Tel.: 0531 391- 55130
E-Mail: e.quiring@tu-bs.de
www.tu-braunschweig.de/sec
Erwin Quiring, David Klein, Daniel Arp, Martin Johns and Konrad Rieck: Adversarial Preprocessing: Understanding and Preventing Image-Scaling Attacks in Machine Learning. Proc. of USENIX Security Symposium 2020.
http://scaling-attacks.net Die Veröffentlichung und die Implementierung der Verteidigung sind auf der Webseite des Forschungsprojekts verfügbar.
https://magazin.tu-braunschweig.de/pi-post/informatiker-der-tu-braunschweig-entw... Pressemitteilung mit Beispielbildern
Criteria of this press release:
Journalists, Scientists and scholars
Information technology
transregional, national
Research results
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
