idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Eine internationale Studie, die in der Fachzeitschrift Nature veröffentlicht wurde, zeigt, dass verschiedene, methodisch begründete Auswertungen desselben Datensatzes zu unterschiedlichen Ergebnissen führen können. Die Studie macht deutlich, warum Transparenz über methodische Entscheidungen ein wichtiger Bestandteil empirischer Forschung ist. An dem Projekt waren 457 Forschende beteiligt, darunter auch Forschende des Center for Advanced Internet Studies (CAIS) und der Universität Duisburg-Essen.
Für die Studie „Investigating the Analytic Robustness of the Social and Behavioural Sciences” führte ein internationales Team aus 457 unabhängigen Wissenschaftler:innen 504 Analysen von Daten aus 100 bereits veröffentlichten Studien der Sozial- und Verhaltenswissenschaften erneut durch. Verschiedene Teams erhielten denselben Datensatz und dieselbe Forschungsfrage. Offen blieb hingegen, wie sie die Daten auswerteten – etwa bei der Auswahl statistischer Modelle, der Definition von Variablen oder der Datenaufbereitung.
Der Großteil der Reanalysen bestätigte die zentralen Aussagen der ursprünglichen Studien: In 74 % der Fälle kamen die Analyst:innen zur gleichen Schlussfolgerung. Gleichzeitig unterschieden sich die Analysen häufig darin, wie groß der gefundene Effekt war. Außerdem war die mittlere Effektstärke der Reanalysen kleiner als die aus den originalen Studien.
Solche Unterschiede treten besonders häufig in der Forschung mit Umfragedaten auf, wie sie häufig in den Sozialwissenschaften verwendet werden. Diese Daten sind oft komplex und verlangen innerhalb von vergleichsweise großen Spielräumen bei der Auswertung individuelle Analyseentscheidungen. „Die Studie belegt nicht, dass wissenschaftliche Ergebnisse unzuverlässig sind. Sie macht vielmehr sichtbar, wie wissenschaftliche Erkenntnisse entstehen und abgesichert werden. Einzelne Studien sind selten das letzte Wort zu einer Forschungsfrage – verlässliches Wissen entsteht meist durch viele Studien, die sich gegenseitig prüfen und ergänzen“, so Prof. Conrad Ziller, Politikwissenschaftler an der Universität Duisburg-Essen (UDE).
Prof. Johannes Breuer, Leiter der Abteilung Research Data & Methods am Center for Advanced Internet Studies (CAIS) und Professor für Digitale Sozialwissenschaften an der UDE, ergänzt: „Die neue Studie zeigt vor allem, wie wichtig Transparenz über Analyseentscheidungen ist, damit Ergebnisse besser eingeordnet werden können. Empirische Forschung lässt häufig mehrere methodisch vertretbare Analysewege zu. Notwendigerweise müssen die Forschenden verschiedene Entscheidungen im Auswertungsprozess treffen, etwa bei der Datenbereinigung, der Modellwahl oder der Interpretation statistischer Ergebnisse. Diese Entscheidungsspielräume können die Größe gemessener Effekte oder die statistische Unsicherheit beeinflussen. Daher sind eine genaue Dokumentation und Begründung methodischer Entscheidungen sowie eine Überprüfung ihrer Robustheit gegenüber möglichen Alternativen wichtig für belastbare Forschungsergebnisse.“
An der Studie waren außerdem die Wissenschaftler:innen Dr. Amelia Zein (CAIS ehem. LMU München), Dr. Teresa Hummler (UDE) und Dr. Paul Vierus (UDE) beteiligt. Ebenso wie die Professoren Breuer und Ziller waren sie Co-Autor:innen und steuerten Reanalysen von Datensätzen bei.
Die groß angelegte Zusammenarbeit wurde von den ungarischen Professoren Balázs Aczél und Barnabás Szászi (Eötvös Loránd Universität und Corvinus Universität) im Rahmen des Programms „Systematizing Confidence in Open Research and Evidence“ (SCORE) koordiniert. Ziel des Projekts ist es, neue Ansätze zu entwickeln, um die Verlässlichkeit wissenschaftlicher Ergebnisse transparenter zu machen.
Die in Nature veröffentlichte Studie ist hier verfügbar: https://doi.org/10.1038/s41586-025-09844-9
ÜBER DAS CENTER FOR ADVANCED INTERNET STUDIES (CAIS)
Das Land Nordrhein-Westfalen fördert das Center for Advanced Internet Studies (CAIS) in Bochum seit April 2021 langfristig als zentrales Institut für Digitalisierungsforschung. Durch evidenzbasierte Lösungsvorschläge trägt das CAIS zur Gestaltung des digitalen Wandels im Interesse der Menschen bei. Gegründet wurde das CAIS als Wissenschaftskolleg Anfang 2017 und vergibt seitdem Fellowships an nationale und internationale Gastwissenschaftler:innen im Bereich der Digitalisierungsforschung. In den Forschungsprogrammen zu den Themen Digitale demokratische Innovationen, ∆, Design vertrauenswürdiger Künstlicher Intelligenz sowie Transformation digitaler demokratischer Diskurse forschen interdisziplinäre Teams zu den Herausforderungen der digitalen Transformation. Am CAIS werden die Fächerwelten von Sozial- und Geisteswissenschaften bis zur Informatik verzahnt und Forschungsergebnisse in der Praxis erprobt. Weitere Informationen über das CAIS finden Sie unter http://www.cais-research.de/.
Prof. Johannes Breuer (johannes.breuer@cais-research.de)
https://www.cais-research.de/ Webseite des CAIS
https://experten.idw-online.de/search?search_term=Center+for+Advanced+Internet+S... Finden Sie unsere CAIS-Forschende im Idw-Expertenmakler
Criteria of this press release:
Journalists, Scientists and scholars, all interested persons
Media and communication sciences, Politics, Psychology, Social studies
transregional, national
Research results, Scientific Publications
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
