idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Wenn Expert*innen Prognosen oder Diagnosen stellen, sind sie sich nicht immer einig. Doch wie findet man heraus, wer in einer Gruppe die genauesten und somit besten Entscheidungen trifft? Ein interdisziplinäres Forschungsteam vom Max-Planck-Institut für Bildungsforschung und vom Leibniz-Institut für Gewässerökologie und Binnenfischerei hat dazu eine einfache Methode entwickelt und erfolgreich in verschiedenen Gruppen getestet. Die Ergebnisse der Studie sind im Journal Science Advances erschienen.
Zeigt der Fleck auf dem Mammografiebild Brustkrebs? Wird Serbien 2025 Mitglied der EU sein? Wird es in fünf Jahren mehr Überschwemmungen in Bayern geben? Ärzt*innen, Wissenschaftler*innen und Expert*innen stellen Diagnosen und machen Vorhersagen mit oftmals weitreichenden Auswirkungen. Welche*r Expert*in am häufigsten richtig lag, lässt sich meist aber erst Jahre später überprüfen.
Ein interdisziplinäres Forschungsteam des Max-Planck-Instituts für Bildungsforschung und des Leibniz-Instituts für Gewässerökologie und Binnenfischerei hat nun eine neue, einfache Methode entwickelt, mit deren Hilfe die besten Entscheider*innen aus einer Expert*innengruppe ermittelt werden können – und das, ohne das Wissen zu benötigen, ob deren frühere oder aktuelle Diagnosen oder Prognosen richtig oder falsch sind. „Sobald mindestens die Hälfte aller Entscheidungen innerhalb der Gruppe richtig sind – was bei Expert*innengruppen typischerweise der Fall ist –, man circa 20 Entscheidungen pro Person vorliegen hat und es sich um Ja-oder-Nein-Entscheidungen handelt, können wir diese Methode sehr erfolgreich anwenden“, sagt Max Wolf, Wissenschaftler am Leibniz-Institut für Gewässerökologie und Binnenfischerei und Koautor der Studie.
Die Wissenschaftler*innen haben diese Methode aus Erkenntnissen zur Kollektiven Intelligenz entwickelt. Sie beruht auf einer einfachen Annahme: Wer innerhalb einer Gruppe von Expert*innen Entscheidungen trifft, welche die höchste Ähnlichkeit zu den Entscheidungen der Anderen haben, trifft auch die besten Entscheidungen. In mathematischen Modellen lässt sich diese Annahme bei Ja-oder-Nein-Entscheidungen einfach nachweisen. Um zu überprüfen, ob die Methode auch in realen Gruppen funktioniert, haben die Forscher schon publizierte Vorhersagen und Diagnosen verschiedener Gruppen aus verschiedenen Bereichen analysiert.
So untersuchten die Wissenschaftler*innen zum Beispiel Diagnosen von 100 Radiolog*innen aus den USA. Den Radiolog*innen wurde Anfang der Nullerjahre die Aufgabe gestellt, bei 155 Frauen anhand deren Mammografien zu entscheiden, ob sie Brustkrebs haben oder nicht. Vergleicht man diese Radiolog*innen und ihre Entscheidungen, kann man diejenigen ermitteln, deren Entscheidungen insgesamt am ähnlichsten zu den Entscheidungen der anderen waren. Da die Wissenschaftler*innen Zugang zu den späteren Krankheitsverläufen der 155 Patientinnen hatten, konnten sie auch feststellen, welche Radiolog*innen die genauesten und somit besten Diagnosen stellten. Es waren dieselben, die die Wissenschaftler*innen mit der statistischen Methode ermittelt hatten.
„Es zeigt sich immer wieder, dass gute Expert*innen in ihrem Fach auf eine ähnliche Art und Weise gut sind, dagegen sind die schlechten unter ihnen auf ganz unterschiedliche Arten schlecht. Aus dieser Beobachtung heraus haben wir diese Methode entwickelt und in verschiedenen Bereichen erfolgreich überprüft“, sagt Ralf Kurvers, Erstautor und Wissenschaftlicher Mitarbeiter des Forschungsbereichs Adaptive Rationalität am Max-Planck-Institut für Bildungsforschung.
Neben den Diagnosen der Radiolog*innen analysierten die Wissenschaftler*innen auch Hautkrebsdiagnosen von 40 italienischen Dermatolog*innen, geopolitische Vorhersagen von 90 Prognostiker*innen der Onlineplattform „Good Judgment Project“ sowie die Ergebnisse eines einfachen Wissenstests, in dem 100 Proband*innen zwischen zwei amerikanischen Städten die größere wählen sollten.
„Wir glauben, dass der Zusammenhang zwischen Ähnlichkeit in den Entscheidungen und deren Genauigkeit ein wirkungsvolles Werkzeug für die Praxis sein kann. Kollektive und individuelle Entscheidungsprozesse in der medizinischen Diagnose, in Umweltrisikoanalysen oder in der Wirtschaft können mit dieser Methode verbessert werden“, sagt Koautor Stefan Herzog, ebenfalls Wissenschaftlicher Mitarbeiter im Forschungsbereich Adaptive Rationalität.
---
Das Max-Planck-Institut für Bildungsforschung wurde 1963 in Berlin gegründet und ist als interdisziplinäre Forschungseinrichtung dem Studium der menschlichen Entwicklung und Bildung gewidmet. Das Institut gehört zur Max-Planck-Gesellschaft zur Förderung der Wissenschaften e. V., einer der führenden Organisationen für Grundlagenforschung in Europa
Kurvers, R., Herzog, S. M., Hertwig, R., Krause, J., Moussaid, M., Argenziano, G., ... Wolf, M. (2019). How to detect high-performing individuals and groups: Decision similarity predicts accuracy. Science Advances. doi: 10.1126/sciadv.aaw9011
https://www.mpib-berlin.mpg.de/de/presse/2019/11/die-besten-der-besten-wer-triff...
Criteria of this press release:
Journalists
Psychology
transregional, national
Research results
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
