idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Künstliche Intelligenz (KI) unterstützt Menschen bereits heute im Alltag und verbessert Prozesse in Unternehmen und Behörden. Selbstlernende Systeme können aber auch entgegen ihrem eigentlichen Zweck eingesetzt werden und der Gesellschaft und Wirtschaft schaden. Wie sich KI-Systeme schützen lassen, zeigt ein aktuelles Whitepaper der Plattform Lernende Systeme. Die Expertinnen und Experten veranschaulichen anhand realistischer Anwendungsszenarien mögliche Herausforderungen und benennen konkrete Vorkehrungen, um einen Missbrauch zu verhindern. Ihr Fazit: Von der Entwicklung bis zur Entsorgung eines KI-Systems müssen mögliche Einfallstore für eine schadhafte Anwendung geschlossen werden.
Autonome Fahrzeuge können Personen sicher durch den Straßenverkehr bewegen – oder, als Waffe umfunktioniert, in eine Menschenmenge gelenkt werden. KI-gesteuerte Flugdrohnen können Pakete zustellen – oder Drogen liefern. Sprachmodelle können den Kundenservice verbessern – oder täuschend echte Phishing-Mails verfassen, um Schadsoftware in ein Unternehmen zu schleusen. Die nutzbringenden Einsatzmöglichkeiten von KI sind ebenso vielfältig wie die missbräuchlichen Anwendungsfälle. Als „Zweckentfremdung mit negativen Folgen“ beschreiben die Autorinnen und Autoren des Whitepapers „KI-Systeme schützen, Missbrauch verhindern“ den sogenannten Missbrauch von KI-Systemen. Dahinter stehe immer menschliche Absicht unterschiedlicher Akteure mit unterschiedlichen Motiven. Die Expertinnen und Experten betonen die besondere Tragweite einer Manipulation von KI-Systemen im Vergleich mit anderen technischen Systemen: So können die Handlungen von Menschen und Maschinen beeinflusst werden, wenn KI-Systeme zur Entscheidungsfindung herangezogen werden.
„Fakt ist, dass KI-Systeme von Kriminellen, staatlichen Organisationen oder wirtschaftlichen Wettbewerbern immer auch für unlautere Zwecke missbraucht werden können – sei es, um Spionage zu betreiben, Falschinformationen zu streuen oder Menschen zu überwachen. Wir müssen deshalb den Blick von Anfang an auf mögliche Schwachstellen richten, vom Design bis zur Wartung“, sagt Jürgen Beyerer, Leiter des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung IOSB und Leiter der Arbeitsgruppe „Lebensfeindliche Umgebungen“ der Plattform Lernende Systeme. „Wir müssen uns in einen möglichen Täter hineinversetzen und überlegen, welche Angriffsszenarien im konkreten Anwendungsfall denkbar sind. Hierfür sind technische Schutzmechanismen zu integrieren, aber auch organisatorische Vorkehrungen zu treffen.“
Nicht nur das KI-System selbst, sondern auch seine Daten und Lernprozesse müssen geschützt werden. Zum technischen Schutz der KI-Systeme dienen sowohl klassische Vorrichtungen der Cybersecurity als auch KI-gestützte Instrumente wie die Erkennung von Anomalien oder Identitäten.
“Missbrauch bedeutet dabei nicht notwendigerweise, dass das KI-System gehackt wird, sondern dass es, so wie es ist, für einen nicht beabsichtigten, bösartigen Zweck verwendet wird. So könnte ein autonomes Auto für Angriffe missbraucht werden, oder ein KI-System, das aus Sicherheitsgründen Giftstoffe erkennt, dazu verwendet werden, neuartige, noch giftigere Stoffe zu entwickeln“, erklärt Jörn Müller-Quade, Professor für Kryptographie am Karlsruher Institut für Technologie (KIT) und Leiter der Arbeitsgruppe IT-Sicherheit, Privacy, Ethik und Recht der Plattform Lernende Systeme. „Deshalb müssen schon in der Entwicklung von KI-Systemen Vorkehrungen getroffen werden, die eine derartige kriminelle Nutzung bestenfalls erkennen und unterbinden, zumindest aber deutlich erschweren.“
Die Autorinnen und Autoren des Whitepapers unterstreichen, dass Schutzvorkehrungen auch die Umgebung des KI-Systems berücksichtigen sollten sowie die Menschen, die es entwickeln, anwenden oder kontrollieren. Das Fehlverhalten von Menschen könne in jeder Phase des Lebenszyklus eines KI-Systems zu Risiken führen. Klare Prozesse und Regeln, etwa zum Umgang mit KI im Unternehmen, erschweren einen missbräuchlichen Einsatz. Notwendig sei es, das Wissen zu KI in der Gesellschaft zu stärken und die Auseinandersetzung mit Schwachstellen von KI zu fördern, heißt es im Whitepaper. Zudem empfehlen die Expertinnen und Experten, ausgewählte KI-Systeme regelmäßig von unabhängigen Drittstellen auf Schwachstellen überprüfen zu lassen – auch nach deren Zulassung – sowie die Verantwortlichkeiten und Haftung im Fall eines Missbrauchs auf europäischer Ebene zu klären.
Über das Whitepaper
Das Whitepaper „KI-Systeme schützen, Missbrauch verhindern“ wurde federführend von Expertinnen und Experten der Arbeitsgruppen „Lebensfeindliche Umgebungen“ und „IT-Sicherheit, Privacy, Ethik und Recht“ der Plattform Lernende Systeme verfasst. Mitglieder weiterer Arbeitsgruppen waren beteiligt.
Über die Plattform Lernende Systeme
Die Plattform Lernende Systeme ist ein Netzwerk von Expertinnen und Experten zum Thema Künstliche Intelligenz (KI). Sie bündelt vorhandenes Fachwissen und fördert als unabhängiger Makler den interdisziplinären Austausch und gesellschaftlichen Dialog. Die knapp 200 Mitglieder aus Wissenschaft, Wirtschaft und Gesellschaft entwickeln in Arbeitsgruppen Positionen zu Chancen und Herausforderungen von KI und benennen Handlungsoptionen für ihre verantwortliche Gestaltung. Damit unterstützen sie den Weg Deutschlands zu einem führenden Anbieter von vertrauenswürdiger KI sowie den Einsatz der Schlüsseltechnologie in Wirtschaft und Gesellschaft. Die Plattform Lernende Systeme wurde 2017 vom Bundesministerium für Bildung und Forschung (BMBF) auf Anregung des Hightech-Forums und acatech – Deutsche Akademie der Technikwissenschaften gegründet und wird von einem Lenkungskreis gesteuert.
https://www.plattform-lernende-systeme.de/files/Downloads/Publikationen/AG3_WP_K... Whitepaper zum Download
https://www.plattform-lernende-systeme.de/missbrauch-von-ki-systemen.html Missbrauchsszenarien
https://www.plattform-lernende-systeme.de/infografiken.html Grafiken zum Download
https://www.plattform-lernende-systeme.de/id-3-fragen-an-newsreader/vom-hilfreic... Kurzinterview
Wie lässt sich verhindern, dass Terroristen ein autonomes Fahrzeug als Waffe missbrauchen? Das zeigt ...
Plattform Lernende Systeme
Wie lässt sich verhindern, dass Terroristen eine Flugdrohne in ein Fußballstadion lenken? Das zeigt ...
Plattform Lernende Systeme
Criteria of this press release:
Journalists
Economics / business administration, Information technology, Mechanical engineering, Politics, Social studies
transregional, national
Scientific Publications, Transfer of Science or Research
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
