idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Metawissenschaftler:innen analysieren, wie wissenschaftliche Erkenntnisse entstehen und wie verlässlich diese sind. Eine groß angelegte Studie mit Beteiligung der Universität Innsbruck zeigt, dass in den Verhaltens- und Sozialwissenschaften selbst bei identischer Datengrundlage deutlich voneinander abweichende Schlussfolgerungen entstehen können, wenn unabhängige Forschungsteams die Analyse durchführen. Wissenschaftliche Objektivität wird nicht durch eine einzige „wahre“ Analysemethode erreicht, sondern dadurch, den Raum möglicher Alternativen transparent zu machen, betonen die Studienautor:innen.
In den letzten zehn Jahren haben die Sozial- und Verhaltenswissenschaften tiefgreifende Reformen durchlaufen, um die Forschungspraktiken transparenter, strenger und zuverlässiger zu gestalten. Präregistrierung, Registered Reports, Replikationsstudien sowie Überprüfungen der analytischen Reproduzierbarkeit zielen darauf ab, die Häufigkeit von Zufallsbefunden und verzerrten Ergebnissen zu reduzieren. Eine zentrale Frage hat bislang jedoch nur begrenzt Beachtung gefunden: Inwieweit hängen Forschungsergebnisse von der Art und Weise ab, wie Daten analysiert werden?
Der analytischen Robustheit der Sozial- und Verhaltenswissenschaften geht eine aktuelle Studie nach, die im Fachjournal Nature publiziert wurde. Es handelt sich dabei um ein groß angelegtes internationales Forschungsprojekt unter der Leitung von Balázs Aczél (Eötvös Loránd Universität) und Barnabás Szászi (Eötvös Loránd Universität und Corvinus Universität). Felix Holzmeister, Verhaltensforscher an der Uni Innsbruck, ist als einer der Lead-Autor:innen ebenfalls federführend an der Publikation beteiligt.
Ein Team von 457 internationalen Wissenschaftler:innen führte 504 Re-Analysen von Daten aus 100 zuvor veröffentlichten Studien aus den Sozial- und Verhaltenswissenschaften durch. Alle Analyst:innen erhielten den Datensatz der jeweiligen Originalstudie und dieselbe Forschungsfrage. Die Wahl einer geeigneten Analysemethode stand ihnen frei. Das Projekt wurde im Rahmen des Programms Systematizing Confidence in Open Research and Evidence (SCORE) durchgeführt.
Eine Vielzahl vertretbarer statistischer Entscheidungen
In der gängigen wissenschaftlichen Praxis wird ein Datensatz von einzelnen Forscher:innen oder einem einzelnen Forschungsteam analysiert. Die daraus resultierende Veröffentlichung präsentiert damit das Ergebnis eines bestimmten analytischen Vorgehens. Welche Ergebnisse unter alternativen, aber ebenso vertretbaren statistischen Entscheidungen hätten erzielt werden können, bleibt in der Regel unklar.
Empirische Untersuchungen umfassen jedoch zahlreiche Entscheidungspunkte, beispielsweise in der Bereinigung von Daten, der Definition von Variablen, der Verwendung von statistischen Modellen und der Interpretation der Ergebnisse. Die Flexibilität in diesen Entscheidungen führt zu analytischer Variabilität – eine Form von Unsicherheit, die die endgültigen Schlussfolgerungen grundlegend beeinflussen kann.
Analysemethode beeinflusst Schlussfolgerungen
Die Auswertung der metawissenschaftlichen Untersuchung zeigt erhebliche analytische Variabilität in den Ergebnissen unabhängiger Analysen derselben Fragestellung auf Basis derselben Daten in 100 Studien. Obwohl die meisten Re-Analysen die Hauptthesen der jeweiligen Originalstudien grundsätzlich stützten, unterschieden sich die Schätzungen der Effektgrößen und Unsicherheitsgrade in vielen Fällen deutlich. In etwa einem Drittel der Fälle kamen alle Wissenschaftler:innen zu denselben Schlussfolgerungen wie die ursprünglichen Autor:innen.
Die beobachteten Abweichungen sind nicht auf mangelnde Expertise oder fehlerhafte Auswertungen zurückzuführen. Ausgewiesene Expert:innen mit fundiertem statistischen Hintergrund gelangten ebenso häufig zu abweichenden Ergebnissen wie Nachwuchswissenschaftler:innen. Beobachtungsstudien erwiesen sich als weniger robust als experimentelle Studien, was darauf hindeutet, dass komplexere Datenstrukturen mehr analytische Flexibilität ermöglichen – und damit auch eine größere Unsicherheit mit sich bringen.
Mehr Transparenz durch Multi-Analysen
Felix Holzmeister, assoziierter Professor an der Universität Innsbruck, betont: „Die Studie liefert erstmals einen systematischen Einblick in analytische Variabilität über einen breiten Querschnitt empirischer Studien hinweg. Die Ergebnisse legen nahe, dass analytische Variabilität – und die damit einhergehende Unsicherheit hinsichtlich Schlussfolgerungen – kein isoliertes Problem einzelner Studien oder Methoden ist, sondern ein grundlegendes Merkmal empirischer Forschung in den Sozial- und Verhaltenswissenschaften.“
Balázs Aczél, Professor an der Eötvös-Loránd-Universität, kommt zu dem Schluss: „Diese Ergebnisse stellen nicht die Glaubwürdigkeit früherer Forschung in Frage. Vielmehr machen sie darauf aufmerksam, dass die Präsentation einer einzigen Analyse oft nicht das tatsächliche Ausmaß der empirischen Unsicherheit widerspiegelt und dass das Ignorieren der analytischen Variabilität zu ungerechtfertigtem Vertrauen in wissenschaftliche Schlussfolgerungen führen kann.“
Barnabás Szászi, Assistenzprofessor an der Eötvös-Loránd-Universität und der Corvinus-Universität, ergänzt: „Wir sprechen uns für einen breiteren Einsatz von Multi-Analysten- und Multiversum-Ansätzen aus, insbesondere bei Fragen von hoher wissenschaftlicher oder gesellschaftlicher Bedeutung. Anstatt nach einer einzigen ‚wahren‘ Antwort zu suchen, machen diese Ansätze sichtbar, wie stabil – oder fragil – wissenschaftliche Schlussfolgerungen tatsächlich sind.“
Felix Holzmeister
Institut für Wirtschaftstheorie, -politik und -geschichte
Universität Innsbruck
Tel.: +43 512 507 71040
Mobil: +43 664 31 68 568
E-Mail: felix.holzmeister@uibk.ac.at
Aczél, B., Szászi, B., Clelland, H. T., Kovacs, M., Holzmeister, F., et al. (2026). Investigating the analytical robustness of the social and behavioural sciences. Nature. DOI: 10.1038/s41586-025-09844-9
Felix Holzmeister
Source: Anna Huber
Copyright: Universität Innsbruck
Criteria of this press release:
Journalists, Scientists and scholars
interdisciplinary
transregional, national
Research results, Scientific Publications
German
Felix Holzmeister
Source: Anna Huber
Copyright: Universität Innsbruck
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
