idw – Informationsdienst Wissenschaft

Nachrichten, Termine, Experten

Grafik: idw-Logo
Science Video Project
idw-Abo

idw-News App:

AppStore

Google Play Store



Instanz:
Teilen: 
01.03.2021 11:57

KI in gefährlichen Umgebungen: Nur so viel menschlicher Eingriff, wie nötig

Linda Treugut Geschäftsstelle
Lernende Systeme - Die Plattform für Künstliche Intelligenz

    Selbstlernende Roboter und KI-Systeme können im Weltraum, in der Tiefsee oder bei Katastrophen unterstützen – durch Erkundungen oder Arbeiten in gefährlichen Regionen verrichten. Dazu müssen die technischen Systeme einerseits möglichst autonom agieren, zugleich aber stets in der Letztkontrolle des Menschen bleiben. Wie sich diese Anforderungen umsetzen lassen und wo noch Forschungsbedarf besteht, erläutert Jürgen Beyerer im Interview. Er ist Professor für Informatik am Karlsruher Institut für Technologie (KIT) und Leiter des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung IOSB. In der Plattform Lernende Systeme leitet er die Arbeitsgruppe „Lebensfeindliche Umgebungen“.

    Was unterscheidet den Einsatz selbstlernender KI-basierter Systeme in lebensfeindlichen Umgebungen von anderen Einsatzfeldern?

    Jürgen Beyerer: Lebensfeindliche Umgebungen sind durch Bedingungen gekennzeichnet, die Menschen und Tiere besonders belasten oder gefährden und nicht ihren natürlichen Lebensräumen entsprechen. Solche Umgebungen sind in der Regel nicht nur für Menschen feindlich, sondern auch für Technik – das ist der erste Unterschied von anderen Einsatzfeldern Lernender Systeme. Um in solchen extremen bzw. herausfordernden Bedingungen erfolgreich agieren zu können, brauchen KI-basierte Systeme entsprechend angepasste und zuverlässige Hardware. Das birgt übrigens auch erhöhte Gefahren, falls solche Systeme zweckentfremdet oder gegen den Menschen eingesetzt werden – das kann man auch als Unterschied erwähnen.

    Bei KI-Systemen für lebensfeindliche Umgebungen geht es insbesondere darum, den Menschen zu ersetzen oder zu unterstützen, um sein Gefahrenrisiko zu minimieren. Bei anderen KI-Systemen steht die Minimierung der Gefahren nicht immer im Vordergrund. Ein weiterer Unterschied besteht darin, dass die Bedingungen zum Lernen in lebensfeindlichen Umgebungen in der Regel stark erschwert sind, weil Situationen bei vielen Einsätzen nicht genau bekannt und sehr dynamisch sind. Als Beispiel kann man Rettungs- oder Bergungsarbeiten nennen. Das „klassische“ maschinelle Lernen basiert aber auf der Analyse großer Mengen ähnlicher Daten, die aus solchen Einsätzen nicht erhoben werden können. Daher sind neue Lernalgorithmen zu entwickeln, um aus wenigen Daten lernen zu können.

    Bei abgesetzten Einsätzen, wo Lernende Systeme Monate oder sogar Jahre autonom agieren müssen (z.B. in der Unterwasser- oder Weltraumforschung), wird ein weiterer Unterschied deutlich: Es ist nicht vorherzusehen, in welche Richtung und wie stark die Erfahrungen, die ein selbstlernendes System in einem Dauereinsatz sammelt, seine Eigenschaften verändern. Die „klassischen“ Lernalgorithmen sind gut für die Daten, die von Menschen vor- und aufbereitet werden – mit ihnen ist das Lernen grundsätzlich steuerbar. Bei Dauerautonomie dagegen sind solche Daten nicht verfügbar, und an Technologien für automatische Aufbereitung komplexer Lerndaten wird noch geforscht.

    Ein weiterer Unterschied betrifft die Wartung und Instandsetzung: Menschen können in lebensfeindlichen Umgebungen solche Arbeiten nur selten übernehmen, sodass abgesetzte Systeme mit Funktions- und Teilsystemausfällen umgehen können müssen.

    Wie autonom sollen und dürfen KI-Technologien in lebensfeindlichen Umgebungen agieren?

    Jürgen Beyerer: Das hängt von der Umgebung und der Mission (bzw. der Einsatzziele) des agierenden technischen Systems ab. Technologien können übrigens nicht agieren – das tun die Systeme, welche entsprechende Technologien benutzen. Autonomiegrade werden in der Forschung zu autonomen Systemen schon mindestens seit den 1970er Jahren diskutiert. Es existieren verschiedene Modelle und Einteilungen dazu. Von der direkten Steuerung durch den Menschen bis zur vollständigen Autonomie lassen sich mehrere Zwischenstufen unterscheiden, bei denen der Mensch weniger oder mehr die Kontrolle an das Lernende System abgibt.

    Es gibt auch lebensfeindliche Umgebungen, wo nur technische Systeme autonom agieren können, weil ein Mensch sich dort nicht aufhalten kann und eine Kommunikation mit ihm nicht möglich ist (z.B. in größeren Tiefen unter Wasser) oder solche Verzögerungen hat, die rechtzeitige Reaktionen des Menschen auf Situationsänderungen am Einsatzort des Systems unmöglich machen (z.B. extraterrestrische Planetenforschung). In lebensfeindlichen Umgebungen, in denen menschliche Reaktionen bzw. Anweisungen „in Echtzeit“ möglich sind, geht es in der Regel darum, den Menschen zu ersetzen oder zu unterstützen, um sein Gefahrenrisiko zu minimieren. Daher gilt: so viel Autonomie wie möglich – nur so viel menschlicher Eingriff wie nötig.

    Im Laufe jedes Einsatzes ist ständige Kompetenzanalyse eines KI-basierten Systems notwendig, um sichere und situationsbedingt mögliche Autonomiegrade bestimmen zu können. Kompetenzen eines Lernenden Systems hinsichtlich der Fähigkeit, angetroffene Probleme zu lösen, können sich im Laufe des Einsatzes auch verändern, und insbesondere die quantitative Erfassung der Änderungen ist ein noch zu erforschendes Problem. Fehlende oder unzureichende Kompetenz bedeutet immer einen erhöhten Eingriff durch den Menschen bis hin zu einer Teleoperation (= Fernsteuerung).

    Abschließend muss man sagen, dass der Mensch als Einsatzkraft und Entscheider dabei auch zukünftig – vor allem bei Einsätzen zur Rettung von menschlichem Leben – nicht ersetzbar sein wird. Das diskutierten wir ausführlich in einem aktuellen Whitepaper der Plattform Lernende Systeme.

    Welche Prämissen ergeben sich daraus für die Technologieentwicklung?

    In lebensfeindlichen Umgebungen können autonom agierende Lernende Systeme während einer Mission in ethisch oder rechtlich problematische Situationen kommen, in welchen sie keine Entscheidungen treffen dürfen und auf menschliche Unterstützung angewiesen sind (Stichwort: Dilemma-Situationen). Deshalb benötigen solche Systeme auch Komponenten, die derartige Situationen erkennen und kommunizieren können, um den passenden Autonomiegrad zu gewährleisten. Diese Komponenten müssen entwickelt werden.

    Sowohl für autonomes Lernen bei langzeitig abgesetzten (autonomen) Systemen als auch für das Lernen anhand spärlicher Daten in einmaligen Situationen (Stichwort: inkrementelles Lernen) sind neue Technologien zu entwickeln. Auch ein Transfer des Gelernten sowie verallgemeinerndes Lernen (induktives Lernen) an nicht baugleiche Systeme ist ein wichtiges Forschungsthema. Dazu sind umfassende Daten- und Informationssammlungen sowie Simulations- und Testumgebungen notwendig, in denen Lernende Systeme – ggf. zusammen mit Menschen – lernen können (Stichwort: Immersive Lernumgebungen).

    Außerdem sollten KI-basierte Systeme laufend eigene Kompetenzen und Fähigkeiten analysieren, um Situationen erkennen zu können, in welchen sie menschliche Unterstützung brauchen, sowie die Art der benötigten Unterstützung – von der Bestätigung einer Entscheidung eines autonomen Systems bis zur Teleoperation. Selbst ein erfahrener Systemoperator, der die Arbeit eines autonomen Systems beaufsichtigt, ist nicht immer in der Lage, solche (in der Regel sehr komplexen) Situationen rechtzeitig zu erkennen und einzugreifen. Insbesondere bei Lernenden Systemen kann er nur schwer einschätzen, zu welchen Kompetenzänderungen das Lernen geführt hat. Und wir wollen (und müssen!) KI mit solchen Fähigkeiten ausstatten. Die Befähigung Lernender Systeme zu einer umfassenden dynamischen Eigen-Kompetenzanalyse wäre eine zentrale Aufgabe der Forschung.

    Klare rechtliche Vorgaben sowie einheitliche Standards, die die Rahmenbedingungen für den Einsatz Lernender Systeme beschreiben, sind entscheidende Voraussetzungen für die breite Nutzung solcher Systeme – und das nicht nur in lebensfeindlichen Umgebungen. In jedem Fall muss der Mensch immer die Kontrolle über ein autonomes System übernehmen können, wenn er das für erforderlich hält.


    Weitere Informationen:

    https://www.plattform-lernende-systeme.de/files/Downloads/Publikationen/AG7_Whit... - Das Whitepaper "Kompetent im Einsatz" der Plattform Lernende Systeme.


    Bilder

    Jürgen Beyerer ist Professor am Karlsruher Institut für Technologie und Mitglied der Plattform Lernende Systeme.
    Jürgen Beyerer ist Professor am Karlsruher Institut für Technologie und Mitglied der Plattform Lerne ...

    Karlsruher Institut für Technologie


    Merkmale dieser Pressemitteilung:
    Journalisten
    Elektrotechnik, Informationstechnik, Physik / Astronomie, Wirtschaft
    überregional
    Forschungs- / Wissenstransfer, Wissenschaftliche Publikationen
    Deutsch


     

    Jürgen Beyerer ist Professor am Karlsruher Institut für Technologie und Mitglied der Plattform Lernende Systeme.


    Zum Download

    x

    Hilfe

    Die Suche / Erweiterte Suche im idw-Archiv
    Verknüpfungen

    Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.

    Klammern

    Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).

    Wortgruppen

    Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.

    Auswahlkriterien

    Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).

    Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).