---

---

06/09/2020 06:00

Cochrane Deutschland zur Diskussion um Preprints und die Qualität von Studien zu COVID-19

Georg Rüschemeyer Presse- und Öffentlichkeitsarbeit
Cochrane Deutschland Stiftung (CDS)

Ein großer Teil der wissenschaftlichen Evidenz zu COVID-19 wird zur Zeit in Form von sogennannten Preprints veröffentlicht. Das ist gut, weil es das Tempo des Wissenstransfers erhöht. Es ist aber auch ein Problem, weil Preprints per Definition vorläufigen Charakter besitzen und entsprechend vorsichtig interpretiert werden müssen. Gleichzeitig ist auch eine reguläre Publikation in anerkannten Journalen mit Peer Review nicht automatisch eine Garantie für vertrauenswürdige Studienergebnisse, wie jüngts der Fall zweier zurückgezogener Studien zu COVID-19 zeigte. Cochrane Deutschland mit einer Einschätzung zur Diskussion um Preprints und die Qualität von Studien zu COVID-19.

In den letzten Wochen schlug ein öffentlich ausgetragener Streit um die Berichterstattung der BILD-Zeitung über eine Studie zu COVID-19 hohe Wellen. Dabei ging es um eine bereits Ende April in Form eines sogenannten Preprints veröffentlichte Studie eines Forscherteams um den Berliner Virologen Christian Drosten über die Viruslast verschiedener Altersgruppen bei COVID-19. Die BILD stellt die Ergebnisse und Schlussfolgerungen als „grob falsch“ dar, wurde anschließend aber ihrerseits von einer breiten Front von Wissenschaftlern und Qualitätsmedien für ihre Vorgehensweise scharf kritisiert.
Diesen Streit auf wissenschaftlicher Ebene im Detail darzustellen und zu kommentieren, ist hier nicht unser Ziel. Vielmehr dient uns der Fall als Anlass, auf ein grundlegendes Problem hinzuweisen, das sich aus der in COVID-19-Zeiten verstärkten Praxis ergibt, wissenschaftliche Publikationen noch vor einer regulären Begutachtung durch Fachkollegen (das sogenannte Peer Review) als „Preprint“ zu veröffentlichen. Dieser Ansatz ist deutlich älter als COVID-19. Die Idee dahinter: Durch die Veröffentlichung von Preprints wird die Geschwindigkeit erhöht, mit der Forschungsergebnisse der wissenschaftlichen Welt zugänglich gemacht und verbreitet werden. Gleichzeitig ermöglichen Preprints kritisches Feedback von anderen Forschungsgruppen zum Entwurf der Studie, ehe diese den formalen Begutachtungsprozess einer Fachzeitschrift durchläuft, der mitunter einige Monate dauern kann. Dadurch werden Ergebnisse nicht nur schneller zugänglich; möglicherweise lassen sich damit auch einige der immer wieder kritisierten Probleme des klassischen Peer-Review-Verfahrens (etwa Interessenkonflikte bei Peer Reviewern) umgehen und größere Transparenz innerhalb der wissenschaftlichen Community herstellen. Im Idealfall steht am Ende eine finale Publikation in einer Fachzeitschrift, die durch Diskussion und Anpassung durch die Autoren in der vorgeschalteten Preprint-Phase bestmöglich Studienergebnisse berichtet und somit verlässliche Evidenz zur untersuchten Fragestellung liefert.
In manchen Wissenschaftsdisziplinen wie der Physik ist das Veröffentlichen von Preprints schon länger ein gängiger Teil der Publikationskultur, aber auch in manchen Lebenswissenschaften waren sie schon vor COVID-19 durchaus üblich. Die Pandemie hat jedoch zu einer wahren Flut von Preprint-Publikationen geführt, weil auf diese Weise Studienergebnisse, die für die Eindämmung der Pandemie wichtig sein könnten, schneller bekannt gemacht werden können. Die Schattenseite davon ist, dass Ergebnisse und Schlussfolgerungen aus Preprints stets nur einen vorläufigen Charakter haben, weil ihnen die sonst übliche Qualitätskontrolle durch Peer Review fehlt. Dadurch können sich auf Preprint-Servern gegebenenfalls auch Studien mit gravierenden Mängeln in der Methodik oder Interpretation finden, die in einer Fachzeitschrift mit qualitätssichernden Maßnahmen wie Peer Review so nicht zur Veröffentlichung kämen.
All diese Vor- und Nachteile von Preprint-Publikationen sind unter Forschern, aber auch unter guten Wissenschaftsjournalisten durchaus bekannt. Problematisch wird es, wenn Preprint-Ergebnisse wie nun geschehen ohne die passende Einordnung in einem frühen Stadium der Diskussion die Aufmerksamkeit der breiten Öffentlichkeit erhalten.
„In der Tat sehen wir zur Zeit aus aller Welt eine große Anzahl von Studien zu COVID-19 mit teils erheblichen methodischen Limitationen, beispielsweise ohne Vergleichsgruppen oder mit sehr geringen Teilnehmerzahlen, die auf die Schnelle als Preprint ohne Peer Review veröffentlicht werden. Solche Studien werden dann gelegentlich in sozialen und sonstigen Medien, teils auch durch Wissenschaftler selbst, als wichtige wissenschaftliche Ergebnisse dargestellt, die Entscheidungen in der Gesundheitsversorgung einzelner Patienten oder auch politische Entscheidungen auf Systemebene begründen sollen. Dies ist äußerst problematisch, da die Berichterstattung oft die Unsicherheit nicht ausreichend berücksichtigt, die wir in Bezug auf viele Fragen im Zusammenhang mit COVID-19 leider noch immer haben“, sagt Jörg Meerpohl, Direktor von Cochrane Deutschland und Direktor des Instituts für Evidenz in der Medizin am Universitätsklinikum Freiburg. Gleichzeitig seien eventuelle Schwächen und die fachliche Diskussion darum Teil des „Prinzips Preprint“ und dürften nicht als Anlass missbraucht werden, einzelne Forscher öffentlich zu diffamieren.
Meerpohl ruft deshalb dazu auf, die bisherige Forschung zu COVID-19 sorgfältiger zu betrachten. „Entscheidend ist, dass die unvermeidlichen Limitationen gerade solcher Preprint-Publikationen in der Diskussion berücksichtigt und die Ergebnisse entsprechend vorsichtig interpretiert werden. Die Evidenz zu COVID-19 ist zurzeit noch lückenhaft, vorläufig und teils methodisch schwach. Doch auch wenn sich dies dringend ändern muss, so sie ist momentan eben doch noch die beste Evidenz, die wir haben.“ Für die kritische Einordnung und Sortierung der Flut von Studienergebnissen seien Evidenzsynthesen in Form von systematischen Reviews, wie sie Cochrane und andere zurzeit mit Hochdruck erstellen, besonders wichtig.
Meerpohl zufolge spreche all dies nicht prinzipiell gegen die Nutzung von Preprint-Servern. „Aber wir alle - Wissenschaftler, Medien, Öffentlichkeit, Politik - müssen lernen, mit dieser neuen Form der Vorab-Veröffentlichung von Ergebnissen angemessen umzugehen.“ Dazu gehört auch, dass Wissenschafts- und Medizinjournalisten den Wissenschafts- und Publikationsprozess kennen und durchschauen und in der Lage sind, Studienergebnisse richtig einzuordnen, um die Öffentlichkeit nicht durch fragwürdige Informationen und Deutungen zu verunsichern.
In der notwendigen Debatte um Preprints sollte allerdings auch nicht der Eindruck entstehen, als sei eine reguläre Veröffentlichung mit Peer Review in einem angesehenen Fachjournal eine absolute Garantie für vertrauenswürdige Forschungsergebnisse. Das belegt der aktuelle Fall von zwei Studien zur Behandlung von COVID-19, die vergangene Woche von „The Lancet“ (https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(20)31324-6/fullt...) und dem „New England Journal of Medicine“ (https://www.nejm.org/doi/full/10.1056/NEJMc2021225) zurückgezogen wurden. Grund waren erst nach der Publikation aufgekommene erhebliche Zweifel an der Seriosität der Rohdaten, welche von der in Chicago ansässigen Firma Surgisphere erhoben worden waren.
„Es ist in der Tat sehr ernüchternd, dass diese Unstimmigkeiten weder im Peer Review, noch im editoriellen Prozess der Journale aufgefallen sind. Gerade bei so hochrangigen Zeitschriften sollte so etwas nicht vorkommen“, kommentiert Jörg Meerpohl. „Für die Wahrnehmung der Qualität und Vertrauenswürdigkeit der Wissenschaft in der Öffentlichkeit ist so etwas natürlich fatal.“ Der Prozess des Peer Reviews sei zwar höchst sinnvoll, bedürfe aber dringend grundlegender Verbesserungen.
ENDE
Anmerkung: Das Science Center Germany bat vergangene Woche Jörg Meerpohl und weitere Experten um ihre Einschätzung der beiden zurückgezogenen Studien. Die kompletten Stellungnahmen finden Sie hier: https://www.sciencemediacenter.de/alle-angebote/rapid-reaction/details/news/zwei...

---

<
Logo Cochrane Deutschland

---

Criteria of this press release:
Journalists, Scientists and scholars
Biology, Media and communication sciences, Medicine, Nutrition / healthcare / nursing
transregional, national
Science policy, Transfer of Science or Research
German

---