idw – Informationsdienst Wissenschaft

Nachrichten, Termine, Experten

Grafik: idw-Logo
Grafik: idw-Logo

idw - Informationsdienst
Wissenschaft

Science Video Project
idw-Abo

idw-News App:

AppStore

Google Play Store



Instanz:
Teilen: 
04.10.2023 11:35

Fraunhofer HHI, TU Berlin und BIFOLD präsentieren neue Methode zur Erklärbarkeit von KI

Martina Müller Pressestelle
Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut, HHI

    Künstliche Intelligenz wird bereits vielfach eingesetzt. Dabei ist häufig kaum nachzuvollziehen, wie die KI zu ihren Entscheidungen kommt. An der Thematik, eine KI erklärbar zu machen, arbeiten Wissenschaftler*innen des Fraunhofer Heinrich-Hertz-Institut (HHI) und des Berlin Institute for the Foundations of Learning and Data (BIFOLD) an der TU Berlin gemeinsam seit vielen Jahren. Nun ist den Wissenschaftler*innen rund um Prof. Thomas Wiegand (Fraunhofer HHI, BIFOLD), Prof. Wojciech Samek (Fraunhofer HHI, BIFOLD) und Dr. Sebastian Lapuschkin (Fraunhofer HHI) ein weiterer Meilenstein gelungen.

    In ihrem Paper „From attribution maps to human-understandable explanations through Concept Relevance Propagation“ stellen die Forschenden mit Concept Relevance Propagation (CRP) eine neue Methode zur Erklärbarkeit von KI vor, welche individuelle Entscheidungen der KI in Form von menschlich verständlichen Konzepten erklären kann. Das Paper ist jetzt in der internationalen Fachzeitschrift Nature Machine Intelligence erschienen.

    KI-Systeme sind weitgehende Black-Boxes: Wie eine KI zu einer bestimmten Entscheidung kommt, ist für den Menschen meist nicht nachvollziehbar. CRP ist eine hochmoderne Erklärungsmethode für tiefe neuronale Netzwerke, die bestehende Erklärungsmodelle ergänzt und vertieft. Dabei zeigt CRP nicht nur, welche der eingegebenen Merkmale für die getroffene Entscheidung relevant sind, sondern deckt auch die verwendeten Konzepte auf, zeigt wo diese in der Eingabe repräsentiert sind und welche Teile des neuronalen Netzwerks dafür verantwortlich sind. Damit ist CRP ist in der Lage, individuelle Entscheidungen einer KI anhand von Konzepten zu erklären, die für den Menschen verständlich sind. Im Ergebnis werden ganz neue Maßstäbe bei der Bewertung von und der Interaktion mit KI gesetzt.

    Die neue Art der Erklärbarkeit nimmt erstmals den gesamten Vorhersageprozess einer KI - vom Input bis zum Output - in den Blick. In den vergangenen Jahren hat das Forschungsteam bereits verschiedene Methoden entwickelt, um mithilfe sogenannter Heatmaps zu erklären, wie KI-Algorithmen zu ihren Entscheidungen gelangen. Die Heatmaps markieren spezifische Bereiche in einem Bild, die für die getroffene Entscheidung besonders relevant sind. Diese Methode wurde unter dem Namen Layer-wise Relevance Propagation (LRP) bekannt. Die Bedeutung dieser Art von Erklärbarkeit ist von enormer Wichtigkeit, da sie nachvollziehbar macht, ob eine KI tatsächlich auf einer fundierten Grundlage Entscheidungen trifft oder ob sie lediglich Shortcut-Strategien erlernt hat und somit schummelt.

    Die neue CRP-Methode baut auf Layer-wise Relevance Propagation auf. „Die Bilderkennung durch KI ist dafür ein gutes Beispiel“, so Prof. Wojciech Samek, Leiter der Abteilung „Künstliche Intelligenz“ am Fraunhofer HHI, Professor für Maschinelles Lernen und Kommunikation an der TU Berlin sowie BIFOLD Fellow. „Auf der Input-Ebene kennzeichnet CRP, welche Pixel innerhalb eines Bildes für den KI-Entscheidungsprozess besonders relevant sind. Das ist ein wichtiger Schritt, um die Entscheidungen einer KI nachzuvollziehen, erklärt aber nicht das Konzept hinter der Entscheidung, warum die KI genau diese Pixel berücksichtigt.“ Zum Vergleich: Wenn ein Mensch eine schwarz-weiß gestreifte Oberfläche sieht, erkennt er nicht automatisch ein Zebra. Dazu benötigt er außerdem noch Informationen wie vier Beine, Hufe, Schwanz, etc. Letztlich kombiniert er die Information der Pixel (schwarz/weiß) mit dem Konzept Tier.

    „CRP überträgt die Erklärung vom Eingangsraum, in dem sich das Bild mit all seinen Pixeln befindet, in den semantisch angereicherten Konzeptraum, der von höheren Schichten des neuronalen Netzwerkes gebildet wird“, erläutert Dr. Sebastian Lapuschkin, Leiter der Forschungsgruppe „Erklärbare Künstliche Intelligenz“ am Fraunhofer HHI, die neue Methode. „CRP ist die nächste Stufe der Erklärbarkeit der KI und bietet ganz neue Möglichkeiten im Hinblick auf die Untersuchung, Prüfung und Verbesserung der Funktionsweise von KI-Modellen. Wir sind schon sehr gespannt darauf, unsere neue Methode auf große Sprachmodelle wie ChatGPT anzuwenden.“


    Wissenschaftliche Ansprechpartner:

    Prof. Wojciech Samek
    E-Mail: wojciech.samek@hhi.fraunhofer.de
    Telefon: +49 30 31002-417


    Weitere Informationen:

    https://doi.org/10.1038/s42256-023-00711-8


    Bilder

    CRP Methode
    CRP Methode

    © Fraunhofer HHI


    Merkmale dieser Pressemitteilung:
    Journalisten, Wissenschaftler
    Elektrotechnik, Informationstechnik, Medien- und Kommunikationswissenschaften
    überregional
    Forschungsergebnisse, Wissenschaftliche Publikationen
    Deutsch


     

    Hilfe

    Die Suche / Erweiterte Suche im idw-Archiv
    Verknüpfungen

    Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.

    Klammern

    Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).

    Wortgruppen

    Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.

    Auswahlkriterien

    Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).

    Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).