idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
idw - Informationsdienst
Wissenschaft
Künstliche Intelligenz (KI) unterstützt Menschen bereits heute im Alltag und verbessert Prozesse in Unternehmen und Behörden. Selbstlernende Systeme können aber auch entgegen ihrem eigentlichen Zweck eingesetzt werden und der Gesellschaft und Wirtschaft schaden. Wie sich KI-Systeme schützen lassen, zeigt ein aktuelles Whitepaper der Plattform Lernende Systeme. Die Expertinnen und Experten veranschaulichen anhand realistischer Anwendungsszenarien mögliche Herausforderungen und benennen konkrete Vorkehrungen, um einen Missbrauch zu verhindern. Ihr Fazit: Von der Entwicklung bis zur Entsorgung eines KI-Systems müssen mögliche Einfallstore für eine schadhafte Anwendung geschlossen werden.
Autonome Fahrzeuge können Personen sicher durch den Straßenverkehr bewegen – oder, als Waffe umfunktioniert, in eine Menschenmenge gelenkt werden. KI-gesteuerte Flugdrohnen können Pakete zustellen – oder Drogen liefern. Sprachmodelle können den Kundenservice verbessern – oder täuschend echte Phishing-Mails verfassen, um Schadsoftware in ein Unternehmen zu schleusen. Die nutzbringenden Einsatzmöglichkeiten von KI sind ebenso vielfältig wie die missbräuchlichen Anwendungsfälle. Als „Zweckentfremdung mit negativen Folgen“ beschreiben die Autorinnen und Autoren des Whitepapers „KI-Systeme schützen, Missbrauch verhindern“ den sogenannten Missbrauch von KI-Systemen. Dahinter stehe immer menschliche Absicht unterschiedlicher Akteure mit unterschiedlichen Motiven. Die Expertinnen und Experten betonen die besondere Tragweite einer Manipulation von KI-Systemen im Vergleich mit anderen technischen Systemen: So können die Handlungen von Menschen und Maschinen beeinflusst werden, wenn KI-Systeme zur Entscheidungsfindung herangezogen werden.
„Fakt ist, dass KI-Systeme von Kriminellen, staatlichen Organisationen oder wirtschaftlichen Wettbewerbern immer auch für unlautere Zwecke missbraucht werden können – sei es, um Spionage zu betreiben, Falschinformationen zu streuen oder Menschen zu überwachen. Wir müssen deshalb den Blick von Anfang an auf mögliche Schwachstellen richten, vom Design bis zur Wartung“, sagt Jürgen Beyerer, Leiter des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung IOSB und Leiter der Arbeitsgruppe „Lebensfeindliche Umgebungen“ der Plattform Lernende Systeme. „Wir müssen uns in einen möglichen Täter hineinversetzen und überlegen, welche Angriffsszenarien im konkreten Anwendungsfall denkbar sind. Hierfür sind technische Schutzmechanismen zu integrieren, aber auch organisatorische Vorkehrungen zu treffen.“
Nicht nur das KI-System selbst, sondern auch seine Daten und Lernprozesse müssen geschützt werden. Zum technischen Schutz der KI-Systeme dienen sowohl klassische Vorrichtungen der Cybersecurity als auch KI-gestützte Instrumente wie die Erkennung von Anomalien oder Identitäten.
“Missbrauch bedeutet dabei nicht notwendigerweise, dass das KI-System gehackt wird, sondern dass es, so wie es ist, für einen nicht beabsichtigten, bösartigen Zweck verwendet wird. So könnte ein autonomes Auto für Angriffe missbraucht werden, oder ein KI-System, das aus Sicherheitsgründen Giftstoffe erkennt, dazu verwendet werden, neuartige, noch giftigere Stoffe zu entwickeln“, erklärt Jörn Müller-Quade, Professor für Kryptographie am Karlsruher Institut für Technologie (KIT) und Leiter der Arbeitsgruppe IT-Sicherheit, Privacy, Ethik und Recht der Plattform Lernende Systeme. „Deshalb müssen schon in der Entwicklung von KI-Systemen Vorkehrungen getroffen werden, die eine derartige kriminelle Nutzung bestenfalls erkennen und unterbinden, zumindest aber deutlich erschweren.“
Die Autorinnen und Autoren des Whitepapers unterstreichen, dass Schutzvorkehrungen auch die Umgebung des KI-Systems berücksichtigen sollten sowie die Menschen, die es entwickeln, anwenden oder kontrollieren. Das Fehlverhalten von Menschen könne in jeder Phase des Lebenszyklus eines KI-Systems zu Risiken führen. Klare Prozesse und Regeln, etwa zum Umgang mit KI im Unternehmen, erschweren einen missbräuchlichen Einsatz. Notwendig sei es, das Wissen zu KI in der Gesellschaft zu stärken und die Auseinandersetzung mit Schwachstellen von KI zu fördern, heißt es im Whitepaper. Zudem empfehlen die Expertinnen und Experten, ausgewählte KI-Systeme regelmäßig von unabhängigen Drittstellen auf Schwachstellen überprüfen zu lassen – auch nach deren Zulassung – sowie die Verantwortlichkeiten und Haftung im Fall eines Missbrauchs auf europäischer Ebene zu klären.
Über das Whitepaper
Das Whitepaper „KI-Systeme schützen, Missbrauch verhindern“ wurde federführend von Expertinnen und Experten der Arbeitsgruppen „Lebensfeindliche Umgebungen“ und „IT-Sicherheit, Privacy, Ethik und Recht“ der Plattform Lernende Systeme verfasst. Mitglieder weiterer Arbeitsgruppen waren beteiligt.
Über die Plattform Lernende Systeme
Die Plattform Lernende Systeme ist ein Netzwerk von Expertinnen und Experten zum Thema Künstliche Intelligenz (KI). Sie bündelt vorhandenes Fachwissen und fördert als unabhängiger Makler den interdisziplinären Austausch und gesellschaftlichen Dialog. Die knapp 200 Mitglieder aus Wissenschaft, Wirtschaft und Gesellschaft entwickeln in Arbeitsgruppen Positionen zu Chancen und Herausforderungen von KI und benennen Handlungsoptionen für ihre verantwortliche Gestaltung. Damit unterstützen sie den Weg Deutschlands zu einem führenden Anbieter von vertrauenswürdiger KI sowie den Einsatz der Schlüsseltechnologie in Wirtschaft und Gesellschaft. Die Plattform Lernende Systeme wurde 2017 vom Bundesministerium für Bildung und Forschung (BMBF) auf Anregung des Hightech-Forums und acatech – Deutsche Akademie der Technikwissenschaften gegründet und wird von einem Lenkungskreis gesteuert.
https://www.plattform-lernende-systeme.de/files/Downloads/Publikationen/AG3_WP_K... Whitepaper zum Download
https://www.plattform-lernende-systeme.de/missbrauch-von-ki-systemen.html Missbrauchsszenarien
https://www.plattform-lernende-systeme.de/infografiken.html Grafiken zum Download
https://www.plattform-lernende-systeme.de/id-3-fragen-an-newsreader/vom-hilfreic... Kurzinterview
Wie lässt sich verhindern, dass Terroristen ein autonomes Fahrzeug als Waffe missbrauchen? Das zeigt ...
Plattform Lernende Systeme
Wie lässt sich verhindern, dass Terroristen eine Flugdrohne in ein Fußballstadion lenken? Das zeigt ...
Plattform Lernende Systeme
Merkmale dieser Pressemitteilung:
Journalisten
Gesellschaft, Informationstechnik, Maschinenbau, Politik, Wirtschaft
überregional
Forschungs- / Wissenstransfer, Wissenschaftliche Publikationen
Deutsch
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).
