idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Systematischer Prüfkatalog aus der PTB – für verlässlichen KI-Einsatz.
Künstliche Intelligenz (KI) in der Medizin kann helfen, Krankheiten früher zu erkennen, Menschen besser zu versorgen und die Gesundheitsausgaben zu senken. Die breite Verwendung hängt aber stark davon ab, ob Vertrauen in die Algorithmen aufgebaut werden kann. Eine entscheidende Frage lautet: Sind die Algorithmen mithilfe qualitativ hochwertiger Daten trainiert worden? In der Physikalisch-Technischen Bundesanstalt (PTB) ist ein neuer Prüfrahmen für solche Daten zur Entwicklung von KI-Medizinprodukten erstellt worden. Er bildet auch die Basis für einen agilen Zulassungsprozess solcher Softwareprodukte. Das Projektteam stellt dieses sogenannte METRIC-Framework in der aktuellen Ausgabe der (zur Nature-Gruppe gehörenden) Fachzeitschrift npj Digital Medicine vor.
Künstliche Intelligenz bietet ein hohes Potenzial: So können KI-Algorithmen beispielsweise helfen, schnelle MRT-Aufnahmen des bewegten Herzens gestochen scharf zu machen. (MRT: Magnetresonanztomograf) Oder sie können die Diagnosearbeit drastisch beschleunigen, indem sie große Mengen etwa von Vitaldaten (z. B. EKG), Laborwerten (z. B. Blutbild) und medizinischen Bildern schneller auswerten, als ein Mensch das kann. „Die Einsatzmöglichkeiten sind vielfältig und faszinierend. Aber alles steht und fällt damit, ob es gelingt, bei Ärzt*innen und Patient*innen großes Vertrauen in die Sicherheit dieser Verfahren aufzubauen“, sagt Daniel Schwabe, Mathematiker bei der PTB. Hier setzte das Teilprojekt im Rahmen des europäischen TEF-Health-Projektes an, das Schwabe seit Anfang 2023 koordiniert und dessen erstes Ergebnis er jetzt mit seinem Team vorstellt.
KI-Algorithmen müssen trainiert werden, indem ihnen beispielsweise Hunderte und Tausende medizinischer Daten zusammen mit der entsprechenden Diagnose vorgelegt werden. Daraus lernen sie, welche Daten und welche Diagnose zusammenpassen, und können schließlich selber Diagnosen stellen. „Es ist allgemein klar, dass die Qualität der Trainingsdaten ein entscheidender Punkt ist. Aber was steckt eigentlich genau hinter dem Begriff „Datenqualität“ im Kontext medizinischer Anwendungen? Das hat unser Team sich sehr gründlich angesehen“, erklärt Schwabe. Während einer akribischen Recherche, in die insgesamt 5408 Publikationen eingeflossen sind, haben die Forschenden den Begriff in einzelne Eigenschaften aufgespalten. Diese Systematik haben sie in einer Grafik aufgearbeitet, die sie das „Rad der Datenqualität“ nennen. Es legt den Grundstein für die systematische Analyse der Qualität medizinischer Trainingsdaten. Dies dient vor allem Entwicklerinnen und Entwicklern von KI-Medizinprodukten, um die Nutzbarkeit und Eignung ihrer Datensätze besser einzuschätzen. Wenn sie mehr über die Trainingsdaten wissen, verringert sich die Gefahr von Fehleinschätzungen. Das Endprodukt, also der KI-Algorithmus, wird robuster und besser interpretierbar. „Dies leistet einen großen Beitrag zum Ziel der Vertrauenswürdigkeit von KI-Medizinprodukten, wie es vom neuen EU-Gesetz (EU AI Act) gefordert wird “, sagt Schwabe.
Das Rad der Datenqualität kann auch zum Testen von KI-Algorithmen durch Verwendung von Referenzdatensätzen genutzt werden. Das wird die PTB auch in ihrem eigenen Projekt TraCIM (https://tracim.ptb.de/tracim/) nutzen, das im Frühjahr als Demonstrator auf der Hannover Messe vorgestellt wurde. Damit kann sie KI-Algorithmen für die Medizin bewerten. In Zukunft soll TraCIM es Herstellerfirmen ermöglichen, ihre KI-Algorithmen von der PTB als neutraler Stelle überprüfen zu lassen.
Als nächsten Schritt befasst sich das Projektteam um Daniel Schwabe mit der Frage, wie sich die gefundenen Eigenschaften der Datenqualität automatisiert messen lassen. Außerdem untersucht das Projektteam wie stark der Einfluss von einzelnen Faktoren der Datenqualität auf die Eigenschaften (z. B. Vorhersage-Qualität, Robustheit, Unsicherheit) eines KI-Medizinprodukts ist.
Das Projekt TEF-Health:
Künstliche Intelligenz (KI) treibt aktuell eine Vielzahl von Innovationen in der Medizin an. Gerade in diesem Gebiet stellt sich die kritische Frage: Wann ist ein neues KI-System verlässlich und vertrauenswürdig? Um innovative Ansätze in KI und Robotik im Gesundheitswesen hinsichtlich des neuen EU AI Acts zu prüfen und schneller zur Marktreife zu bringen, hat die EU im Januar 2023 ein Projekt im Rahmen des Programms TEF – Testing and Experimentation Facilities – im Bereich Gesundheit gestartet. Das Projekt mit Namen TEF-Health ist Teil des Programms „Digital Europe“ und wird mit 60 Millionen Euro gefördert. Die PTB ist maßgeblich an einer Projektgruppe beteiligt, die agile Zulassungsprozesse für vertrauenswürdige KI etablieren wird. Innerhalb der PTB ist das Projekt Teil des Innovationsclusters Systemische Metrologie, um Qualitätsstandards für vernetzte Daten und KI auf messbare Größen zurückzuführen.
(es/ptb)
Dr. Daniel Schwabe, Projektleiter TEF-Health, Telefon: (030) 3481-7802, daniel.schwabe@ptb.de
D. Schwabe, K. Becker, M. Seyferth, A. Klaß, T. Schäffter: The METRIC-framework for assessing data quality for trustworthy AI in medicine: a systematic review. npj Digital Medicine 7, 203 (2024) https://www.nature.com/articles/s41746-024-01196-4
https://www.ptb.de/cms/presseaktuelles/journalisten/nachrichten-presseinformatio... Diese Pressinfo im PTB-Web
https://tracim.ptb.de/tracim/ Das Projekt TRaCIM
https://tefhealth.eu/home Das Projekt TEF-Health
Das „Rad der Datenqualität“ des METRIC -Frameworks zur systematischen Evaluierung der Qualität von K ...
(Abb.: PTB)
Criteria of this press release:
Journalists
Information technology, Medicine, Physics / astronomy
transregional, national
Research results
German
Das „Rad der Datenqualität“ des METRIC -Frameworks zur systematischen Evaluierung der Qualität von K ...
(Abb.: PTB)
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
