idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Forschungsergebnisse helfen Unternehmen dabei, KI-Systeme mit hohem Risiko zu steuern
Im Projekt »KI-Cockpit« hat ein Forschungsteam des Fraunhofer IAO sowie des IAT der Universität Stuttgart gemeinsam mit Partnern aus Wissenschaft und Wirtschaft Lösungen entwickelt, die Menschen in herausfordernden Situationen bei der Steuerung von KI-Anwendungen unterstützen. Das KI-Cockpit soll dafür sorgen, dass Menschen die Entscheidungen der KI nachvollziehen und kontrollieren können. Alle Software-Anwendungen des KI-Cockpits sowie Begleitliteratur können kostenfrei eingesehen und heruntergeladen werden.
Im Mai 2024 verabschiedete die Europäische Union das weltweit erste Regelwerk für Künstliche Intelligenz. Darin ist unter anderem festgelegt, dass KI-Systeme mit hohem Risiko – zum Beispiel bei kritischer Infrastruktur (KRITIS) oder medizinischen Diagnosen – unter menschlicher Aufsicht arbeiten müssen. Außerdem sollen die Systeme für Anwenderinnen und Anwender transparent arbeiten. Im Projekt »KI-Cockpit« hat das Institut für Arbeitswissenschaft und Technologiemanagement IAT der Universität Stuttgart in unterschiedlichen Bereichen die exemplarische Umsetzung der europäischen KI-Verordnung in der betrieblichen Praxis untersucht.
Feldstudien in unterschiedlichen Organisationen
Das Projektkonsortium hat zusammen mit der Caritas, Starwit Technologies sowie Chemistree KI-Cockpits entwickelt. »Unterschiedlicher könnten die drei Partner nicht sein, aber für alle ist das Cockpit hochrelevant«, sagt Dr. Nektaria Tagalidou, Projektleiterin am Fraunhofer IAO. Die Beteiligten haben anhand von Feldstudien in verschiedenen Beispielsituationen untersucht, wie der Mensch im Arbeitsalltag den Überblick über verschiedene KI-Systeme behalten kann. Ein gutes Situationsbewusstsein – also das Verständnis für das, was gerade passiert und welche Folgen das haben könnte – ist sehr wichtig, um richtig handeln zu können.
Bei Starwit Technologies geht es darum, eine KI-gestützte Verkehrsleitplanung für Kommunen zu entwickeln. Die KI kann Gefahrensituationen wie Gegenstände auf der Fahrbahn erkennen oder durch geschickte Verkehrslenkung dazu beitragen, Staus zu vermeiden. Im KI-Cockpit soll ein Mensch die Entscheidungen der KI nachvollziehen und kontrollieren können. »Nur dann kann er schnell manuell steuernd eingreifen, wenn ein Fehler passiert«, sagt Tagalidou.
Die Caritas Dortmund sucht nach Möglichkeiten in der Pflege, KI-Systeme einzusetzen, um die Beschäftigten bei der täglichen Arbeit zu unterstützen. Denkbar wären zum Beispiel Systeme, welche die aufgenommene Flüssigkeitsmenge der Bewohnerinnen und Bewohner eines Altenheimes registrieren, oder Algorithmen, welche die Essensbestellungen der Kundinnen und Kunden an deren individuelle Wünsche anpassen. »Auch hier ist Kontrolle besonders wichtig, weil bei Fehlern Menschen zu Schaden kommen können«, sagt Michael Bui, Wissenschaftler im Team »Applied Neurocognitive Systems«, wissenschaftlicher Mitarbeiter am IAT der Universität Stuttgart.
Im Fokus der Forschenden des IAO/IAT stand nicht nur die allgemeine Gestaltung der KI-Cockpits sondern auch Systeme zu entwickeln, die sich an die mentalen Fähigkeiten der Nutzenden anpassen, um Überforderung oder Unterforderung zu vermeiden. Das ist besonders wichtig in Bereichen, in denen schnelle und richtige Entscheidungen gefordert sind, zum Beispiel in sicherheitskritischen Situationen. Entstanden ist ein System, dass die aktuellen mentalen Fähigkeiten des Nutzenden analysiert und Informationsflüsse entsprechend anpasst.
»KI-Cockpit« für Unternehmen: Open-Source zum Download
Alle Software-Anwendungen des KI-Cockpits sowie Begleitliteratur können kostenfrei auf der Projektwebsite eingesehen und heruntergeladen werden. Unternehmen, die bereits mit KI arbeiten oder planen, KI-Systeme einzuführen, können von den Erkenntnissen aus dem Projekt profitieren. Das Fraunhofer IAO und IAT bieten Unternehmen dazu eine umfassende Beratung, die auch die Unterstützung bei der Einführung eines individuell anpassbaren KI-Cockpits beinhaltet.
Dr. Nektaria Tagalidou
Applied Neurocognitive Systems
Fraunhofer IAO
Nobelstraße 12
70569 Stuttgart
Telefon +49 711 970-5439
E-Mail: nektaria.tagalidou@iao.fraunhofer.de
https://www.iit-berlin.de/publikation/ein-ki-cockpit-fuer-beschaeftigte-kuenstli...
https://www.iao.fraunhofer.de/de/m/24/02/beitrag_05-kontrollraum-fuer-die-ki.htm...
https://github.com/ki-Cockpit/%20
https://www.ki-observatorium.de/rubriken/anwenden/ki-cockpit-menschliche-aufsich...
Voll verkabelt: Wer in der virtuellen Küche des Neurolabors am Fraunhofer IAO arbeitet, wird zuvor a ...
Source: Martin Albermann
Copyright: Martin Albermann
Criteria of this press release:
Business and commerce, Journalists
Information technology, Psychology
transregional, national
Research projects, Research results
German
Voll verkabelt: Wer in der virtuellen Küche des Neurolabors am Fraunhofer IAO arbeitet, wird zuvor a ...
Source: Martin Albermann
Copyright: Martin Albermann
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
