idw – Informationsdienst Wissenschaft

Nachrichten, Termine, Experten

Grafik: idw-Logo
Science Video Project
idw-Abo

idw-News App:

AppStore

Google Play Store



Instance:
Share on: 
07/24/2025 14:41

ICML 2025: DFKI-Forschung warnt vor trügerischer Erklärbarkeit in KI-Systemen

Jeremy Gob DFKI Kaiserslautern | Darmstadt
Deutsches Forschungszentrum für Künstliche Intelligenz GmbH, DFKI

    „X-Hacking“, so nennen Forschende des DFKI ein bislang kaum beachtetes Risiko im Bereich der erklärbaren künstlichen Intelligenz (XAI). Auf der diesjährigen International Conference on Machine Learning (ICML), einer der weltweit bedeutendsten Konferenzen für maschinelles Lernen, stellt das Team aus dem Forschungsbereich Data Science and its Applications erstmals eine systematische Analyse dieses Phänomens vor – und appelliert an eine kritisch-reflektierte Nutzung von AutoML-Tools.

    „In einer Zeit, in der KI Entscheidungen erklärt, aber nicht immer versteht, müssen wir als Wissenschaft Verantwortung für die Tiefe dieser Erklärungen übernehmen – und für ihre Grenzen", sagt Prof. Sebastian Vollmer, Leiter des Forschungsbereichs Data Science and its Applications am DFKI. Der KI-Experte nimmt damit Bezug auf die im Kontext der ICML 2025 vorgestellte Studie zu „X-Hacking“, in welcher die Risiken automatisierter Modellwahl offengelegt werden. Vollmer plädiert für reflektierte Nutzung von AutoML in Forschung und Praxis.

    Was passiert, wenn KI-Systeme zwar korrekte Vorhersagen treffen, aber völlig unterschiedlich begründen, wie sie zu diesem Ergebnis kommen? Können sich Nutzende dann nicht einfach diejenige Erklärung aussuchen, die am besten zu ihrem gewünschten Narrativ passt? Genau diese Problematik untersuchte das DFKI-Team um Prof. Sebastian Vollmer (Rahul Sharma, Sumantrak Mukherjee, Andrea Šipka, Eyke Hüllermeier, Sergey Redyuk und David Antony Selby), und identifizierte mit dem Begriff X-Hacking ein strukturelles Risiko für die Vertrauenswürdigkeit von KI.

    X-Hacking: Wenn AutoML plausibel täuscht

    Der Begriff X-Hacking, in Anlehnung an das aus der Statistik bekannte p-Hacking, beschreibt zwei zentrale Mechanismen:

    Cherry-Picking: Aus einer Vielzahl ähnlich guter Modelle wird gezielt dasjenige ausgewählt, dessen Erklärung das gewünschte Ergebnis am besten unterstützt.

    Gerichtete Suche: AutoML-Systeme optimieren nicht nur die Vorhersageleistung, sondern finden auch gezielt Modelle mit bestimmten Erklärungsmustern – ein oft unterschätztes Risiko.

    Das Problem: Die sogenannte Feature-Importance – also die Gewichtung von Eingabemerkmalen – kann sich drastisch unterscheiden, selbst wenn die Modelle nahezu identisch gute Ergebnisse liefern. Besonders sensibel ist das in Anwendungsfeldern wie der medizinischen Forschung oder der Sozialwissenschaft, wo erklärbare Modelle oft die Grundlage für kritische Entscheidungen bilden.

    „Die Erklärbarkeit eines Modells kann zur Illusion werden, besonders wenn viele plausible, aber widersprüchliche Modelle zur Auswahl stehen", sagt David Antony Selby, Wissenschaftler im Forschungsbereich Data Science and its Applications am DFKI.

    Was steckt hinter AutoML – dem Kern der Problematik?

    AutoML (Automated Machine Learning) steht für automatisierte Verfahren zur Entwicklung, Auswahl und Optimierung von ML-Modellen. Dabei übernehmen Softwaretools viele Aufgaben, die zuvor erfahrenen ML-Ingenieur*innen vorbehalten waren: etwa die Wahl geeigneter Modellarchitekturen, Preprocessing-Schritte und Parameter-Tuning.

    Besonders in datenintensiven Feldern wie Medizin, Industrie oder Sozialforschung versprechen AutoML-Tools schnellere Entwicklung, niedrigere Zugangshürden und reproduzierbare Ergebnisse. Doch gerade diese Automatisierung macht es schwer, die Entstehung von Modellentscheidungen nachzuvollziehen – ein kritischer Punkt bei erklärbarer KI. Zu den bekanntesten AutoML-Frameworks zählen auto-sklearn, Google Cloud AutoML, H2O.ai und Microsoft Azure AutoML.

    Lösungsansatz: Ehrliche Erklärbarkeit durch Transparenz

    Das DFKI-Team schlägt bewusst keine technischen Kontrollmechanismen vor, sondern eine wissenschaftlich reflektierte Praxis, die auf Transparenz und methodischer Sorgfalt basiert. Deir Empfehlungen stehen dabei im Mittelpunkt:

    1. Explanation Histograms:

    Zeigen die Verteilung der Modell-Erklärungen über alle validen Modelle und helfen, Ausreißer sofort zu erkennen.

    2. Vollständige Pipeline-Dokumentation:

    Offengelegt werden sollte nicht nur das Ergebnis, sondern der gesamte Suchraum an Modellen, Datenvorverarbeitung und Bewertungsmetriken.

    3. Interdisziplinäre Ausbildung:

    Fachdisziplinen, die AutoML nutzen, sollten sich der methodischen Risiken bewusst sein und nicht nur der Software vertrauen.

    „Ziel ist eine Wissenschaftskultur, die nicht nur auf Genauigkeit, sondern auch auf Ehrlichkeit in der Erklärbarkeit setzt“, so Vollmer.

    Trustworthy AI als DFKI-Fokus

    Die Studie zur ICML 2025 unterstreicht den Forschungsansatz des DFKI, Künstliche Intelligenz nicht nur leistungsstark, sondern auch transparent und gesellschaftlich vertrauenswürdig zu gestalten. Im Kontext des strategischen Schwerpunkts „Trustworthy AI“ zeigt diese Arbeit exemplarisch, wie wissenschaftliche Exzellenz und methodische Verantwortung zusammengedacht werden können.


    Contact for scientific information:

    Prof. Dr. Sebastian Vollmer
    Leiter Forschungsbereich Data Science and its Applications, DFKI

    Sebastian.Vollmer@dfki.de
    Tel.: +49 631 20575 7601


    Original publication:

    X-Hacking: The Threat of Misguided AutoML
    Authors: Rahul Sharma, Sumantrak Mukherjee, Andrea Sipka, Eyke Hüllermeier, Sebastian Josef Vollmer, Sergey Redyuk, David Antony Selby
    https://openreview.net/forum?id=Bb0zKbPE0L


    More information:

    https://Conference-Poster X-Hacking: The Threat of Misguided AutoML
    https://icml.cc/virtual/2025/poster/46106


    Images

    Auf der ICML 2025: Neue Studie zu „X-Hacking“ zeigt Risiken automatisierter Modellwahl
    Auf der ICML 2025: Neue Studie zu „X-Hacking“ zeigt Risiken automatisierter Modellwahl
    Source: DFKI
    Copyright: DFKI


    Criteria of this press release:
    Journalists
    Information technology, Mathematics, Philosophy / ethics
    transregional, national
    Research results, Scientific conferences
    German


     

    Auf der ICML 2025: Neue Studie zu „X-Hacking“ zeigt Risiken automatisierter Modellwahl


    For download

    x

    Help

    Search / advanced search of the idw archives
    Combination of search terms

    You can combine search terms with and, or and/or not, e.g. Philo not logy.

    Brackets

    You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).

    Phrases

    Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.

    Selection criteria

    You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).

    If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).