idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Die Fähigkeit, eine Studie zu wiederholen und dasselbe Ergebnis zu erzielen, ist ein Grundpfeiler für Glaubwürdigkeit in der Forschung. Inwiefern wird diese Glaubwürdigkeit aber beeinträchtigt, wenn die Hälfte der Forschungsergebnisse einer Disziplin nicht repliziert werden kann? Das ist die Frage, mit der sich die sozial- und verhaltenswissenschaftliche Gemeinschaft nach der Veröffentlichung einer wegweisenden Studie in Nature konfrontiert sieht, die ergab, dass Forscher*innen die Ergebnisse veröffentlichter Studien nur etwa zur Hälfte erfolgreich replizieren konnten.
In einem bisher beispiellosen Gemeinschaftsprojekt schlossen sich Forscher*innen der Constructor University mehr als 800 Sozialwissenschaftler*innen aus der ganzen Welt an, um fast 4.000 Behauptungen aus mehreren hundert veröffentlichten Studien auf Reproduzierbarkeit, Replizierbarkeit und Robustheit zu bewerten. Die Initiative mit dem Namen SCORE (Systematizing Confidence in Open Research and Evidence – Systematische Bewertung der Verlässlichkeit in Open Research-Ergebnisse und Evidenz) startete 2019 und umfasste drei separate Studien zur Bewertung der Glaubwürdigkeit sozialwissenschaftlicher Forschungsprojekte, die zwischen 2009 und 2018 veröffentlicht wurden. Die Ergebnisse aller drei Studien wurden in diesem Monat in Nature veröffentlicht und lösten eine Welle von Reaktionen aus, darunter redaktionelle Stellungnahmen sowohl von Nature als auch von Science sowie eine Berichterstattung in der New York Times.
Dr. Ulrich Kühnen, außerordentlicher Professor für Psychologie an der Constructor University, ist Mitautor der Replizierbarkeitsstudie und optimistisch, dass das Projekt trotz der aufmerksamkeitsstarken Schlagzeilen einen Gewinn für das Fachgebiet darstellen wird. „Dies sollte nicht als grundsätzliche Kritik an den Sozialwissenschaften als unzuverlässiges Forschungsfeld gesehen werden, das wäre schlichtweg falsch", sagt er. „Es ist ein Aufruf zu weiterer Forschung, die die Randbedingungen früherer Erkenntnisse identifiziert und uns hoffentlich hilft, die zugrunde liegenden Prozesse gründlicher zu verstehen."
Diese Randbedingungen umfassen spezifische Umstände wie kulturellen Kontext, Zeitraum, Bevölkerungsmerkmale und methodische Ansätze, die Ergebnisse beeinflussen und Forscher*innen gleichzeitig helfen zu verstehen, wann und wo ein Befund vernünftigerweise zutreffen wird. Prof. Kühnen verwendet das einfache Beispiel einer Studie über Stimmung, bei der ein lustiges Video verwendet werden könnte, um eine bestimmte emotionale Reaktion bei Teilnehmer*innen hervorzurufen. Derselbe Versuch, 15 Jahre später repliziert, könnte eine völlig andere Reaktion hervorrufen, wenn das Video nach aktuellen Maßstäben nicht mehr als lustig angesehen wird.
„Die wichtigste Konsequenz ist, dass wir lernen, Replikationen und gescheiterte Replikationen zu betrachten, um die Randbedingungen zu untersuchen, die uns sagen, wann ein Befund repliziert wird und wann nicht. So bringen wir unser Fachgebiet voran. Wenn wir herausfinden, dass etwas von dem wir glaubten, es sei wahr, gar nicht unbedingt wahr ist, sollte das nicht als Krise gesehen werden. Wir sind Forscher*innen, und natürlich sind wir immer offen dafür, unsere Meinung zu ändern, wenn bessere Beweise vorliegen."
Der Constructor-Beitrag
Prof. Kühnen schloss sich dem SCORE-Projekt 2019 zusammen mit den damaligen Doktorand*innen Lusine Grigoryan, Vladimir Ponizovskiy und Cristina Greculescu von der Bremen International Graduate School of Social Sciences (BIGSSS) an – einem gemeinsamen Projekt der Constructor University und der Universität Bremen. Die Gruppe ergriff die Gelegenheit, die interdisziplinäre Expertise, Ressourcen und lokale deutsche Präsenz von BIGSSS zu nutzen, und folgte einem Aufruf, zu SCORE beizutragen, indem sie eine Studie von 2010 über Arbeitsstress und Wohlbefinden bei deutschen Kindergartenerzieherinnen replizierte.
„Es ist kein Zufall, dass unsere Doktorand*innen das richtige Gespür für ein so fachübergreifendes Projekt wie SCORE hatten", sagt Prof. Kühnen. „Die Constructor University verschreibt sich seit ihrer Gründung konsequent der Interdisziplinarität und Zusammenarbeit. Dieser Grundgedanke gab auch den Anstoß für BIGSSS – eine tiefgreifende interdisziplinäre Kooperation mit unseren Partner*innen der Universität Bremen in den Bereichen Psychologie, Soziologie und Politikwissenschaft.”
Letztendlich gehörte die BIGSSS-Studie zu denjenigen, die nicht erfolgreich repliziert werden konnten. Dr. Greculescu, jetzt an der Universität Münster, merkte jedoch an, dass der wahre Erfolg die Möglichkeit war, zu einer so groß angelegten kollaborativen Leistung wie SCORE beizutragen.
„Es zeigt unseren proaktiven Geist von damals sowie unsere Bereitschaft und Fähigkeit, zu einem so bedeutenden Projekt beizutragen", sagt Dr. Greculescu. „Ich sehe es als großen institutionellen Erfolg für BIGSSS. Als privat-öffentliche Universitätskooperation ist sie in Deutschland einzigartig, doch dieses Projekt zeigt ihre Stärke als Ort, an dem Forscher*innen aus verschiedenen Bereichen zusammenkommen können, um zu großen, internationalen Projekten beizutragen."
Ein Gewinn für Open Science
Dr. Greculescu unterstrich auch die Bedeutung von SCORE bei der Förderung strengerer, transparenterer Forschungspraktiken in allen wissenschaftlichen Disziplinen. „Dies ist ein selbstkritischer Moment für die Sozial- und Verhaltenswissenschaften im Allgemeinen, aber im positiven Sinne", sagt sie. „Es ebnet den Weg zu mehr Integrität und mehr Offenheit im wissenschaftlichen Unterfangen."
Neben seinen primären Forschungszielen war die Förderung größerer Transparenz und Offenheit in der Forschung ein zentraler Aspekt von SCORE. Alle Forschungsdatensätze, Beweise und Codes des Projekts wurden über seine Open-Access-Datenbank offen zugänglich gemacht, um Transparenz und Wiederverwendung zu ermöglichen.
„Die SCORE-Datenbank legt eine wegweisende empirische Grundlage für die systematische Untersuchung von Randbedingungen, die entweder zu Replikation oder zu fehlender Replikation führen", merkt Dr. Greculescu an. „Diese offen zugänglichen Daten aus den Studien zu Replizierbarkeit, Reproduzierbarkeit und Robustheit sind von beispiellosem Umfang und Wert."
Dr. Greculescu betonte auch die breitere Bedeutung und den „Welleneffekt" der Arbeit: „Die Tatsache, dass diese Artikel in einer großen, renommierten Wissenschaftszeitschrift wie Nature veröffentlicht wurden, zeigt, dass jetzt viel Fokus darauf gelegt wird, Wissenschaft richtig zu betreiben. Es gibt einen sehr großen Vorstoß für Open Science: Datensätze öffentlich zugänglich zu machen, Hypothesen vorab zu registrieren. Dies ist ein positives Signal, dass diese Arbeit wichtig ist, dass wissenschaftliche Integrität wichtig ist."
Prof. Dr. Ulrich Kühnen
Associate Professor of Psychology, Constructor University
ukuehnen@constructor.university
+49 421 200-3426
https://doi.org/10.1038/s41586-025-10078-y
https://www.cos.io/score - SCORE-website
Prof. Dr. Ulrich Kühnen, Associate Professor of Psychology, Constructor University
Merkmale dieser Pressemitteilung:
Journalisten, Lehrer/Schüler, Wissenschaftler, jedermann
fachunabhängig
überregional
Forschungsergebnisse, Forschungsprojekte
Deutsch
Prof. Dr. Ulrich Kühnen, Associate Professor of Psychology, Constructor University
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).
