idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
„X-Hacking“, so nennen Forschende des DFKI ein bislang kaum beachtetes Risiko im Bereich der erklärbaren künstlichen Intelligenz (XAI). Auf der diesjährigen International Conference on Machine Learning (ICML), einer der weltweit bedeutendsten Konferenzen für maschinelles Lernen, stellt das Team aus dem Forschungsbereich Data Science and its Applications erstmals eine systematische Analyse dieses Phänomens vor – und appelliert an eine kritisch-reflektierte Nutzung von AutoML-Tools.
„In einer Zeit, in der KI Entscheidungen erklärt, aber nicht immer versteht, müssen wir als Wissenschaft Verantwortung für die Tiefe dieser Erklärungen übernehmen – und für ihre Grenzen", sagt Prof. Sebastian Vollmer, Leiter des Forschungsbereichs Data Science and its Applications am DFKI. Der KI-Experte nimmt damit Bezug auf die im Kontext der ICML 2025 vorgestellte Studie zu „X-Hacking“, in welcher die Risiken automatisierter Modellwahl offengelegt werden. Vollmer plädiert für reflektierte Nutzung von AutoML in Forschung und Praxis.
Was passiert, wenn KI-Systeme zwar korrekte Vorhersagen treffen, aber völlig unterschiedlich begründen, wie sie zu diesem Ergebnis kommen? Können sich Nutzende dann nicht einfach diejenige Erklärung aussuchen, die am besten zu ihrem gewünschten Narrativ passt? Genau diese Problematik untersuchte das DFKI-Team um Prof. Sebastian Vollmer (Rahul Sharma, Sumantrak Mukherjee, Andrea Šipka, Eyke Hüllermeier, Sergey Redyuk und David Antony Selby), und identifizierte mit dem Begriff X-Hacking ein strukturelles Risiko für die Vertrauenswürdigkeit von KI.
X-Hacking: Wenn AutoML plausibel täuscht
Der Begriff X-Hacking, in Anlehnung an das aus der Statistik bekannte p-Hacking, beschreibt zwei zentrale Mechanismen:
Cherry-Picking: Aus einer Vielzahl ähnlich guter Modelle wird gezielt dasjenige ausgewählt, dessen Erklärung das gewünschte Ergebnis am besten unterstützt.
Gerichtete Suche: AutoML-Systeme optimieren nicht nur die Vorhersageleistung, sondern finden auch gezielt Modelle mit bestimmten Erklärungsmustern – ein oft unterschätztes Risiko.
Das Problem: Die sogenannte Feature-Importance – also die Gewichtung von Eingabemerkmalen – kann sich drastisch unterscheiden, selbst wenn die Modelle nahezu identisch gute Ergebnisse liefern. Besonders sensibel ist das in Anwendungsfeldern wie der medizinischen Forschung oder der Sozialwissenschaft, wo erklärbare Modelle oft die Grundlage für kritische Entscheidungen bilden.
„Die Erklärbarkeit eines Modells kann zur Illusion werden, besonders wenn viele plausible, aber widersprüchliche Modelle zur Auswahl stehen", sagt David Antony Selby, Wissenschaftler im Forschungsbereich Data Science and its Applications am DFKI.
Was steckt hinter AutoML – dem Kern der Problematik?
AutoML (Automated Machine Learning) steht für automatisierte Verfahren zur Entwicklung, Auswahl und Optimierung von ML-Modellen. Dabei übernehmen Softwaretools viele Aufgaben, die zuvor erfahrenen ML-Ingenieur*innen vorbehalten waren: etwa die Wahl geeigneter Modellarchitekturen, Preprocessing-Schritte und Parameter-Tuning.
Besonders in datenintensiven Feldern wie Medizin, Industrie oder Sozialforschung versprechen AutoML-Tools schnellere Entwicklung, niedrigere Zugangshürden und reproduzierbare Ergebnisse. Doch gerade diese Automatisierung macht es schwer, die Entstehung von Modellentscheidungen nachzuvollziehen – ein kritischer Punkt bei erklärbarer KI. Zu den bekanntesten AutoML-Frameworks zählen auto-sklearn, Google Cloud AutoML, H2O.ai und Microsoft Azure AutoML.
Lösungsansatz: Ehrliche Erklärbarkeit durch Transparenz
Das DFKI-Team schlägt bewusst keine technischen Kontrollmechanismen vor, sondern eine wissenschaftlich reflektierte Praxis, die auf Transparenz und methodischer Sorgfalt basiert. Deir Empfehlungen stehen dabei im Mittelpunkt:
1. Explanation Histograms:
Zeigen die Verteilung der Modell-Erklärungen über alle validen Modelle und helfen, Ausreißer sofort zu erkennen.
2. Vollständige Pipeline-Dokumentation:
Offengelegt werden sollte nicht nur das Ergebnis, sondern der gesamte Suchraum an Modellen, Datenvorverarbeitung und Bewertungsmetriken.
3. Interdisziplinäre Ausbildung:
Fachdisziplinen, die AutoML nutzen, sollten sich der methodischen Risiken bewusst sein und nicht nur der Software vertrauen.
„Ziel ist eine Wissenschaftskultur, die nicht nur auf Genauigkeit, sondern auch auf Ehrlichkeit in der Erklärbarkeit setzt“, so Vollmer.
Trustworthy AI als DFKI-Fokus
Die Studie zur ICML 2025 unterstreicht den Forschungsansatz des DFKI, Künstliche Intelligenz nicht nur leistungsstark, sondern auch transparent und gesellschaftlich vertrauenswürdig zu gestalten. Im Kontext des strategischen Schwerpunkts „Trustworthy AI“ zeigt diese Arbeit exemplarisch, wie wissenschaftliche Exzellenz und methodische Verantwortung zusammengedacht werden können.
Prof. Dr. Sebastian Vollmer
Leiter Forschungsbereich Data Science and its Applications, DFKI
Sebastian.Vollmer@dfki.de
Tel.: +49 631 20575 7601
X-Hacking: The Threat of Misguided AutoML
Authors: Rahul Sharma, Sumantrak Mukherjee, Andrea Sipka, Eyke Hüllermeier, Sebastian Josef Vollmer, Sergey Redyuk, David Antony Selby
https://openreview.net/forum?id=Bb0zKbPE0L
https://Conference-Poster X-Hacking: The Threat of Misguided AutoML
https://icml.cc/virtual/2025/poster/46106
Auf der ICML 2025: Neue Studie zu „X-Hacking“ zeigt Risiken automatisierter Modellwahl
Quelle: DFKI
Copyright: DFKI
Merkmale dieser Pressemitteilung:
Journalisten
Informationstechnik, Mathematik, Philosophie / Ethik
überregional
Forschungsergebnisse, Wissenschaftliche Tagungen
Deutsch
Auf der ICML 2025: Neue Studie zu „X-Hacking“ zeigt Risiken automatisierter Modellwahl
Quelle: DFKI
Copyright: DFKI
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).
