idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
idw - Informationsdienst
Wissenschaft
Eine LMU-Studie unter der Leitung von Soziologin Katrin Auspurg zeigt, warum Ergebnisse oft schwer reproduzierbar sind und welche Maßnahmen helfen, die Zuverlässigkeit zu verbessern.
Wie gut lassen sich sozialwissenschaftliche Studien rechnerisch nachvollziehen? Dieser Frage widmeten sich LMU-Forschende in einer groß angelegten Studie. Die Untersuchung entstand vor dem Hintergrund der sogenannten Reproduzierbarkeitskrise in der empirischen Forschung. Veröffentlichte Ergebnisse lassen sich demnach oft nicht zuverlässig nachvollziehen, selbst wenn die zugrunde liegenden Daten verfügbar sind.
„Lässt man einen Apfel unter exakt denselben Bedingungen zweimal zu Boden fallen, landet er beide Male gleich“, erklärt Katrin Auspurg, Inhaberin des Lehrstuhls für Quantitative Sozialforschung an der LMU. „Genauso sollte Wissenschaft funktionieren: Identische Analysen bei identischen Daten sollten identische Ergebnisse liefern.“ In einer aktuellen Studie untersuchte sie zusammen mit Daniel Krähmer und Laura Schächtele vom Institut für Soziologie, wie häufig Forschende Studienmaterialien für publizierte Artikel offenlegen und ob sich veröffentlichte Ergebnisse damit nachrechnen lassen.
Eine Frage der Auswertung
Zunächst prüfte das Team, ob sozialwissenschaftliche Forschende ihren Analysecode teilen, also die Programmbefehle für ihre statistischen Auswertungen. Gerade bei großen Umfragedatensätzen ist das entscheidend. Denn im Analysecode wird festgelegt, welche Variablen verwendet werden, welche Beobachtungen in die Stichprobe eingehen und mit welchen Modellen gerechnet wird. „Ohne Analysecode bleibt meist unklar, wie die Daten konkret ausgewertet wurden.“
Das Team wandte sich per E-Mail an die Autorinnen und Autoren von mehr als 1.000 Fachartikeln, die den European Social Survey (ESS) nutzen – eine international vergleichende Bevölkerungsumfrage, die sich großer Beliebtheit in den Sozialwissenschaften erfreut. Das Ergebnis: Nur 35 Prozent stellten ihren Analysecode auf Anfrage zur Verfügung. Die Übrigen reagierten entweder gar nicht, konnten den Code nicht mehr finden oder hatten ihn nicht archiviert. „Bei rund zwei Dritteln war nicht vollständig nachvollziehbar, wie die Ergebnisse ihrer Studien genau zustande gekommen waren“, so Auspurg.
Aufwendige Überprüfung
In einem zweiten Schritt testeten die Forschenden die Reproduzierbarkeit jener Studien, für die der Analysecode vorlag. Sie wählten dafür zufällig 100 Artikel aus und versuchten, 699 publizierte Ergebnisse nachzurechnen. Dabei zeigte sich, dass nur etwa die Hälfte numerisch exakt reproduzierbar war. Bei 23 Prozent der Ergebnisse scheiterte die Reproduktion wegen unvollständiger oder schlecht dokumentierter Materialien. Bei 26 Prozent ergaben sich abweichende Werte. Insgesamt sind damit nur etwa 18 Prozent der berichteten Studienergebnisse vollständig nachvollziehbar und reproduzierbar. Zudem war das Nachrechnen oft aufwendig. „Häufig mussten wir uns stundenlang durch Skripte arbeiten, Materialien neu ordnen oder kleinere Fehler beheben, bevor sich ein Ergebnis prüfen ließ.“
Auspurg betont, dass die Studie kein Pauschalurteil über die Sozialforschung darstellt. „Wir finden keine Belege für systematische Verzerrungen. Viele der Abweichungen sind klein und ändern nicht zwingend etwas an den Schlussfolgerungen der Originalstudien.“ Dennoch zeige die Studie, dass bereitgestellte Informationen und Dokumentation in sozialwissenschaftlichen Publikationen häufig nicht ausreichen, um Ergebnisse verlässlich zu prüfen. „Das widerspricht dem Grundsatz, dass wissenschaftliche Ergebnisse wiederholbar und für andere nachvollziehbar sein müssen.“
Wie sich die Reproduzierbarkeit verbessern lässt
Um die Reproduzierbarkeit zu verbessern, empfiehlt das Team eine Reihe von Maßnahmen. „Bei wissenschaftlichen Veröffentlichungen sollten Fachzeitschriften verlangen, dass Daten und Auswertungsunterlagen systematisch bereitgestellt und langfristig archiviert werden“, erklärt Auspurg. Das beinhalte neben Forschungsdaten auch den Auswertungscode. Die Anbieter von Forschungsdaten wiederum sollten Datenversionen eindeutig kennzeichnen und ältere Versionen dauerhaft verfügbar halten.
An der LMU unterstützt das Open Science Center solche Veränderungen. Es berät Forschende zu guten Praktiken und stärkt damit Transparenz und Reproduzierbarkeit. „So können andere Teams Analysen leichter überprüfen, reproduzieren und weiterentwickeln“, sagt Auspurg. „Wenn Forschungsteams nicht immer von vorn beginnen müssen, spart das Ressourcen.“
Die aktuelle Studie ist Teil des von der DFG geförderten Programms META-REP, an dem Katrin Auspurg mitwirkt. Koordiniert von der LMU München untersucht es, wie zuverlässig Forschungsergebnisse in den Verhaltens-, Sozial- und Kognitionswissenschaften sind, und entwickelt Standards und Tools für mehr Reproduzierbarkeit.
Prof. Dr. Katrin Auspurg katrin.auspurg@lmu.de
https://royalsocietypublishing.org/rsos/article/13/3/251997/480886/Code-sharing-...
Criteria of this press release:
Journalists
Social studies
transregional, national
Research results, Scientific Publications
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
