idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Forschende aus mehr als 50 internationalen Institutionen haben Open Problems (https://openproblems.bio) ins Leben gerufen – eine kollaborative Open-Source-Plattform, die den Vergleich, die Weiterentwicklung und die Durchführung von Wettbewerben für computergestützte Methoden in der Einzelzellgenomik ermöglicht. Die gemeinsam von Helmholtz Munich und der Yale University geleitete Initiative hat das Ziel, Bewertungsverfahren zu standardisieren, Reproduzierbarkeit zu verbessern und Fortschritte bei offenen Herausforderungen in diesem dynamischen Forschungsfeld zu beschleunigen.
Eine gemeinsame Sprache für ein komplexes Fachgebiet
Die Einzelzellgenomik ermöglicht es Wissenschaftler:innen, einzelne Zellen mit bislang unerreichter Auflösung zu analysieren – und dadurch zu verstehen, wie sie funktionieren, interagieren und zu Gesundheit oder Krankheit beitragen. Doch mit dem rasanten Wachstum des Feldes ist auch die Zahl der verfügbaren Analysewerkzeuge gestiegen: Inzwischen existieren Tausende von Tools zur Verarbeitung und Interpretation dieser komplexen Daten. Diese Vielfalt stellt Forschende vor eine zentrale Herausforderung: Wie findet man das am besten geeignete Werkzeug – oder die optimale Kombination von Verarbeitungsschritten – für eine bestimmte Fragestellung?
Viele dieser Werkzeuge sind hochspezialisiert, ihre Leistungsbewertung jedoch schwierig, da verlässliche Datensätze mit bekannten Ergebnissen (sogenannte „Ground Truth“) oft fehlen. Daher greifen viele Forschende auf groß angelegte Benchmarking-Studien zurück. Diese sind jedoch häufig uneinheitlich, schnell veraltet und schwer vergleichbar – was es komplizierter macht, die effektivste Methode für eine bestimmte Aufgabe zu identifizieren.
„Wir brauchen eine gemeinsame Sprache, um zu messen, was funktioniert und was nicht – und die langfristig Bestand hat“, sagt Prof. Fabian Theis, Direktor des Computational Health Centers bei Helmholtz Munich und Professor an der Technischen Universität München. „Mit Open Problems schaffen wir ein reproduzierbares, transparentes und dynamisches Rahmenwerk, das die Entwicklung und Bewertung von Analysewerkzeugen vorantreibt und aktiv von der Community mitgestaltet werden kann.“
Transparent, reproduzierbar und gemeinschaftsbasiert
Open Problems umfasst derzeit 81 öffentliche Datensätze und testet 171 Methoden in 12 zentralen Aufgaben der Einzelzellanalyse. Jede Methode wird anhand einer Vielzahl quantitativer Metriken bewertet, die ihre Leistungsfähigkeit bei einer konkreten Aufgabe messen – darunter Genauigkeit, Skalierbarkeit und Robustheit. Insgesamt kommen 37 verschiedene Metriken zum Einsatz, wobei für jede Aufgabe die jeweils relevantesten ausgewählt werden.
Alle Bewertungen erfolgen automatisiert in der Cloud und folgen standardisierten Verfahren, um vollständige Reproduzierbarkeit sicherzustellen. Forschende können die Ergebnisse jeder Methode einsehen, den zugrunde liegenden Code analysieren und Verbesserungsvorschläge einbringen. Um langfristig relevant und offen für neue Entwicklungen zu bleiben, ist die Plattform für Beiträge aus der Community ausgelegt: Wissenschaftler:innen können neue Aufgaben vorschlagen, eigene Methoden einbringen, an regelmäßigen Community-Calls teilnehmen und bei kollaborativen Hackathons mitwirken, um die Zukunft des Projekts mitzugestalten.
Konkrete Vorteile für die Forschung
Durch den direkten Vergleich unterschiedlicher Werkzeuge hilft Open Problems Forschenden dabei, die effektivsten Methoden für ihre spezifischen Fragestellungen zu identifizieren – und stellt dabei nicht selten etablierte Annahmen infrage. Wie Dr. Smita Krishnaswamy, Associate Professor für Genetik und Informatik an der Yale School of Medicine, erklärt: „Wir haben festgestellt, dass es genauere Ergebnisse liefert, übergeordnete Muster der Genaktivität zu betrachten, anstatt sich auf einzelne Gene zu fokussieren – etwa, wenn man untersucht, wie Zellen miteinander kommunizieren. Und bei bestimmten Aufgaben, wie der Identifikation von Zelltypen über verschiedene Datensätze hinweg, kann ein einfaches statistisches Modell sogar komplexe KI-Methoden übertreffen – und so die Analyse für viele Forschende schneller und effizienter machen.“
Die Plattform bildet auch die Grundlage für internationale Wettbewerbe im Bereich maschinelles Lernen, etwa die multimodalen Integrations-Challenges der NeurIPS-Konferenz. Diese globalen Wettbewerbe bringen Expert:innen aus Biologie und Künstlicher Intelligenz zusammen, um reale Fragestellungen mit gemeinsamen Datensätzen und standardisierten Bewertungsverfahren zu lösen.
„Open Problems senkt die Einstiegshürden für KI-Forschende außerhalb der Biologie, sich in der Genomik zu engagieren“, sagt Dr. Malte Lücken, Erstautor der Studie und Wissenschaftler bei Helmholtz Munich. „Es ist eine Blaupause für interdisziplinäre Innovation.“
Der gesamte Code sowie alle Ergebnisse sind offen unter einer CC-BY-Lizenz verfügbar unter: github.com/openproblems-bio/openproblems
Prof. Fabian Theis, Direktor des Computational Health Centers (CHC) und des Institute of Computational Biology (ICB) bei Helmholtz Munich; Professor für Mathematische Modellierung biologischer Systeme an der Technischen Universität München (TUM)
Dr. Smita Krishnaswamy, Associate Professor für Genetik und Informatik an der Yale School of Medicine
Dr. Malte Lücken, Forschungsgruppenleiter am Institute of Computational Biology (ICB) sowie am Institute of Lung Health and Immunity (LHI) bei Helmholtz Munich
Lücken et al., 2025: Defining and benchmarking open problems in single-cell analysis. Nature Biotechnology. DOI: 10.1038/s41587-025-02694-w
https://openproblems.bio/ Open Problems Webseite
Criteria of this press release:
Journalists, Scientists and scholars
Biology, Medicine
transregional, national
Research results
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
