idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
idw - Informationsdienst
Wissenschaft
Eine groß angelegte Studie in den Sozialwissenschaften zeigt, dass Schlussfolgerungen oft voneinander abweichen, wenn Hunderte von Forschenden dieselben Daten erneut analysieren / Veröffentlichung in „Nature“
Eine neue Studie kommt zu dem Ergebnis, dass wissenschaftliche Schlussfolgerungen je nachdem, wer die Analyse durchführt, dramatisch variieren können. Die Wissenschaftler*innen aus aller Welt beobachteten erhebliche Abweichungen in den Ergebnissen von fast 500 unabhängigen Analysen derselben Fragestellung unter Verwendung derselben Daten in 100 Studien. Obwohl die meisten Reanalysen die Hauptthesen der Originalstudien weitgehend bestätigten, unterschieden sich die Effektgrößen, statistischen Schätzungen und Unsicherheitsgrade oft erheblich. Die Studie „Estimating the Analytic Robustness of Social and Behavioural Sciences (SCORE)” ist in Nature erschienen.
In etwa einem Drittel der Fälle kamen alle Analysten zu dem gleichen Ergebnis wie die ursprünglichen Autor*innen. Das Projekt liefert eine klare Botschaft: Wissenschaftliche Objektivität besteht nicht darin, eine einzige „wahre” Analyse zu identifizieren, sondern darin, den Raum plausibler Alternativen transparent zu machen – sowohl in Forschungsberichten als auch in der Kommunikation mit der breiteren wissenschaftlichen Gemeinschaft. Aus Köln waren Forschende der Wirtschafts- und Sozialwissenschaftlichen und Humanwissenschaftlichen Fakultät beteiligt, darunter Professor Dr. Markus Weinmann vom Cologne Institute for Information Systems (CIIS) und Professorin Dr. Angela R. Dorrough vom Social Cognition Center Cologne (SoCCCo). Weitere Forschende aus der Uni Köln, die an der Arbeit beteiligt waren, sind Dr Alexander Trinidad vom Department für Soziologie und Sozialpsychology der Universität zu Köln sowie Daria Lisovoj, Dr. Marc Jekel und Carolin Häffner von SoCCCo.
Die Diskrepanzen sind nicht auf mangelnde Fachkenntnisse zurückzuführen. Erfahrene Forscher mit fundierten statistischen Kenntnissen kamen ebenso häufig zu abweichenden Ergebnissen wie andere. Gleichzeitig erwiesen sich Beobachtungsstudien als weniger robust als experimentelle Studien, was darauf hindeutet, dass komplexere Datenstrukturen eine größere analytische Flexibilität – und damit eine größere Unsicherheit – ermöglichen.
Balázs Aczél, Professor an der Eötvös-Loránd-Universität, kam zu dem Schluss: „Diese Ergebnisse stellen nicht die Glaubwürdigkeit früherer Forschungen in Frage. Vielmehr machen sie darauf aufmerksam, dass die Darstellung einer einzigen Analyse oft nicht das tatsächliche Ausmaß der empirischen Unsicherheit widerspiegelt und dass das Ignorieren der analytischen Variabilität zu ungerechtfertigtem Vertrauen in wissenschaftliche Schlussfolgerungen führen kann.“
Barnabás Szászi, Assistenzprofessor an der Eötvös-Loránd-Universität und der Corvinus-Universität, fügte hinzu: „Wir plädieren für eine breitere Anwendung von Multi-Analysten- und ‚Multiversum‘-Ansätzen, insbesondere bei Fragen von hoher wissenschaftlicher oder gesellschaftlicher Bedeutung. Anstatt nach einer einzigen wahren Antwort zu suchen, machen diese Ansätze sichtbar, wie stabil – oder fragil – wissenschaftliche Schlussfolgerungen tatsächlich sind.“
Professor Markus Weinmann vom Cologne Institute for Information Systems war einer der Reanalysten und hat mehrere Studien unabhängig reanalysiert. Dabei hat er jede zugewiesene Studie die Originaldaten mit eigenen Methoden ausgewertet, eine Effektgröße geschätzt und eine Schlussfolgerung gezogen. Seine Ergebnisse wurden dann mit denen der anderen Teams und den Originaleffekten verglichen. Weinmann erklärt: „Die Studie zeigt, dass empirische Ergebnisse in den Sozialwissenschaften erheblich davon abhängen, welche analytischen Entscheidungen Forschende treffen. Nur 34 Prozent der unabhängigen Reanalysen kamen zum selben Ergebnis wie die Originalstudie. 74 Prozent zogen dieselbe qualitative Schlussfolgerung. Das bedeutet nicht, dass bisherige Forschung falsch ist, aber es zeigt, dass die gängige Praxis, nur einen einzigen Analysepfad zu berichten, die Unsicherheit in empirischen Befunden unterschätzt. Multi-Analyst-Designs und Multiverse-Analysen können hier für mehr Transparenz sorgen.“
Die Ergebnisse stammen aus einer groß angelegten internationalen Zusammenarbeit unter der Leitung von Balázs Aczél und Barnabás Szászi (Eötvös Loránd Universität und Corvinus Universität), die im Rahmen des Programms „Systematizing Confidence in Open Research and Evidence” (SCORE) durchgeführt wurde. Ein Team von 457 unabhängigen Analysten aus Institutionen auf der ganzen Welt führte 504 Reanalysen von Daten aus 100 zuvor veröffentlichten Studien aus den Sozial- und Verhaltenswissenschaften durch. Alle Analysten erhielten denselben Datensatz und dieselbe zentrale Forschungsfrage, konnten jedoch die Analyse nach eigenem Ermessen durchführen.
In der wissenschaftlichen Standardpraxis wird ein Datensatz in der Regel von einem einzelnen Forscher oder einem Forschungsteam analysiert, und die daraus resultierende Veröffentlichung präsentiert das Ergebnis eines bestimmten Analysepfades. Während Peer-Reviews die methodische Akzeptanz bewerten, zeigen sie selten, welche Ergebnisse unter alternativen, aber ebenso vertretbaren statistischen Entscheidungen hätten erzielt werden können. Empirische Forschung beinhaltet jedoch zahlreiche Entscheidungspunkte: wie Daten bereinigt werden, wie Variablen definiert werden, welche statistischen Modelle oder Software verwendet werden und wie Ergebnisse interpretiert werden.
Professor Markus Weinmann
der Universität zu Köln
+49 221 470 470 89981
weinmann@wiso.uni-koeln.de
https://www.nature.com/articles/s41586-025-09844-9
Merkmale dieser Pressemitteilung:
Journalisten
Gesellschaft
überregional
Forschungsergebnisse
Deutsch
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).
