Der Peer-Review ist am Rande des Zusammenbruchs. Kostet ein Gutachten 450 US-Dollar? Wissenschaftler sind nicht mehr bereit, "aus Liebe zur Sache" zu arbeiten.
Ein Gerät namens MUSE an dem Supergroßen Teleskop in Chile ermöglicht es Forschern, die entfernsten Galaxien zu erforschen.
Es ist so gefragt, dass in der Beobachtungszeit von Oktober bis April des folgenden Jahres die von Wissenschaftlern weltweit beantragten Nutzungsstunden insgesamt über 3000 Stunden betragen.
Das Problem ist: Das entspricht einer Arbeitslast von 379 Nachtschichten, und die Beobachtungszeit umfasst nur sieben Monate.
Selbst wenn MUSE eine kosmische Zeitmaschine wäre, würde die Zeit völlig unzureichend sein.
Bisher hat die Europäische Südsternwarte (ESO), die dieses Teleskop verwaltet, ein Expertenpanel eingesetzt, um aus den vielen Anträgen die wertvollsten Projekte auszuwählen.
Aber mit dem sprunghaften Anstieg der Anträge sind die Experten allmählich überfordert geworden.
Deshalb hat die ESO 2022 eine neue Methode entwickelt: Die Begutachtung wird an die Antragsteller delegiert.
Das heißt, dass jedes Team, das die Nutzung des Teleskops beantragen möchte, auch die Anträge seiner Konkurrenten begutachten muss.
Dieses Modell des „gegenseitigen Peer - Reviews“ wird zu einem beliebten Lösungsansatz für die Arbeitskräftemangel in der Peer - Review - Branche.
Heutzutage gibt es immer mehr wissenschaftliche Artikel, und die Journalredakteure klagen, denn es wird immer schwieriger, Personen für die Peer - Review - Arbeit zu finden.
Förderorganisationen wie die ESO haben ebenfalls Schwierigkeiten, genügend Gutachter zu finden.
Was sind die Folgen dieses überlasteten Systems?
Abnahme der Forschungsqualität: Viele Leute weisen darauf hin, dass es jetzt in einigen Zeitschriften Studien von schlechter Qualität oder sogar mit vielen Fehlern gibt, was darauf hinweist, dass der Peer - Review die Qualität nicht gewährleistet hat.
Versteckte innovative Ideen: Einige beschweren sich auch, dass der bestehende Peer - Review - Prozess zu kompliziert und starr ist, so dass einige wirklich aufregende Ideen keine Förderung erhalten.
Ehrlich gesagt gibt es diese Probleme schon lange.
Seit seiner Entstehung wird der Peer - Review immer wieder wegen ineffizienter Arbeitsweise, Bildung von Kleingruppen und Vorurteilen kritisiert.
Die Daten zeigen, dass die Unzufriedenheit immer stärker wird. Insbesondere nach der COVID - 19 - Pandemie hat die Anzahl der Artikel sprunghaft zugenommen, was den Druck auf das System weiter erhöht hat.
Um das Problem zu lösen, werden verschiedene neue Methoden ausprobiert, wie die Bezahlung der Gutachter oder die Bereitstellung klarerer Review - Leitlinien.
Aber es gibt auch radikalere Stimmen, die meinen, dass das Peer - Review - System unrettbar ist und nicht mehr vertrauenswürdig ist.
Sie schlagen vor, es gründlich zu reformieren, und die extremste Idee ist sogar, es einfach ganz abzuschaffen.
Die Geschichte ist kürzer als gedacht
Obwohl viele denken, dass der Peer - Review das Fundament der Wissenschaft ist, hat sich das heutige Review - Modell erst in den 1960er und 1970er Jahren in den meisten Zeitschriften und Förderorganisationen durchgesetzt.
Davor war die Review - Methode für Manuskripte weit weniger formalisiert.
Melinda Baldwin, eine Wissenschaftshistorikerin der Universität von Maryland, hat die Entwicklung des Peer - Review - Systems in der akademischen Welt untersucht. Sie weist darauf hin, dass einige Zeitschriften damals externe Gutachter benutzten, aber die meisten Redakteure entschieden eher auf der Grundlage ihres eigenen Fachwissens oder der Meinung einer kleinen Gruppe von Kernwissenschaftlern, was veröffentlicht werden sollte.
Aber mit der starken Zunahme der öffentlichen Investitionen in die Forschung durch die Regierung hat auch die Anzahl der Artikel sprunghaft zugenommen.
Das hat dazu geführt, dass alle Journalredakteure auf externe Peer - Reviews umgestiegen sind, um die wenigen Kernwissenschaftler nicht mit der Überfülle von Manuskripten zu überlasten.
Selbst heute gibt es keine einheitliche Norm für den externen Peer - Review. Es ist eher eine Sammlung von verschiedenen Prüfungs - und Auswahlmethoden, die zwischen verschiedenen Zeitschriften, Fachgebieten und Förderorganisationen unterschiedlich sind.
Dieses System, das sich am Ende des 20. Jahrhunderts gebildet hat, steht nun vor einer ähnlichen Krise: Zu viele Manuskripte und zu wenige Gutachter.
Das wissenschaftliche System produziert immer mehr Artikel, aber die Reserven an Gutachtern scheinen nicht schnell genug zu wachsen.
In einer Umfrage im Jahr 2024 gaben etwa die Hälfte der rund 3000 Befragten an, dass sie in den letzten drei Jahren mehr Einladungen zur Peer - Review - Arbeit erhalten haben.
Experten motivieren, aus Liebe zur Sache zu arbeiten?
Wissenschaftliche Förderorganisationen und akademische Zeitschriften experimentieren auf verschiedene Weise, um die Forscher dazu zu motivieren, mehr Peer - Review - Arbeit zu übernehmen und die Gutachten schneller einzureichen.
Versuch 1: Nicht - monetäre Motivation
Einige Zeitschriften haben versucht, ihre Peer - Review - Zeiten öffentlich zu machen. Dies hat in gewissem Maße die Review - Zeit verkürzt, aber der Effekt war hauptsächlich bei erfahrenen Forschern zu beobachten.
Andere Zeitschriften haben Preise für produktive Gutachter eingerichtet. Es gibt jedoch Hinweise darauf, dass diese Preise möglicherweise dazu führen, dass die Preisträger im nächsten Jahr weniger Gutachten schreiben.
Eine andere Idee ist die Reform des wissenschaftlichen Evaluierungssystems.
Springer Nature hat im April dieses Jahres eine Umfrage unter über 6000 Wissenschaftlern durchgeführt. Das Ergebnis zeigt:
70% der Befragten möchten, dass ihre Peer - Review - Arbeit in ihre Leistungsbewertung einfließt.
Aber nur 50% der Befragten geben an, dass ihre Institution dies tatsächlich tut.
Versuch 2: Bezahlte Peer - Reviews (eine anhaltende Debatte)
Die ultimative Motivationsmaßnahme könnte das Geld sein. Die Debatte darüber, ob Gutachter bezahlt werden sollten, dauert schon viele Jahre, und die Gegner und Befürworter haben klare Standpunkte.
Die Befürworter halten es für fair: Dies ist eine faire Wiedergutmachung für die Arbeit und den Wert, den die Gutachter leisten. Der Psychologe Balazs Aczel und seine Kollegen haben 2021 geschätzt, dass die Gutachter weltweit nur im Jahr 2020 über 100 Millionen Stunden unentgeltlich gearbeitet haben. Wenn man dies mit dem durchschnittlichen Gehalt von Wissenschaftlern verrechnet, entspricht dieser Beitrag Milliarden von US - Dollar.
Die Gegner warnen jedoch: Die Bezahlung könnte Interessenkonflikte und negative Anreize bringen (z. B. das Eile mit Weile aus Geldgründen). Sie weisen auch darauf hin, dass die meisten Wissenschaftler sagen, dass die Peer - Review - Arbeit bereits Teil ihrer bezahlten Arbeit ist.
Immer mehr Leute empfinden es als ärgerlich, lohnfrei für kommerzielle Verlage zu arbeiten, die sich damit profitieren.
Der Berater für wissenschaftliche Integrität, James Heathers, hat dies deutlich gemacht.
Er schrieb 2020 in einem Blogbeitrag, dass er nur noch unentgeltliche Peer - Review - Einladungen von Fachgesellschaften, Gemeinschaften oder anderen gemeinnützigen Zeitschriften annimmt.
Für kommerzielle Verlage wird er eine Rechnung in Höhe von 450 US - Dollar stellen.
Er sagt jetzt scherzend, dass zwar die Einladungen von kommerziellen Verlagen aufgehört haben, aber die von gemeinnützigen Institutionen stark zugenommen haben.
Die wirklichen Ergebnisse der Bezahlungsversuche
Dieses Jahr haben zwei Zeitschriften die Ergebnisse ihrer Experimente mit bezahlten Peer - Reviews veröffentlicht, und die Ergebnisse sind sehr unterschiedlich.
Experiment 1: Critical Care Medicine
Diese Zeitschrift bezahlt 250 US - Dollar für jeden Gutachtentarif.
Dieser von der kanadischen Regierung geförderte Versuch zeigt, dass die Bezahlung die Gutachter tatsächlich eher dazu bringt, die Einladung anzunehmen (die Annahmeprozentsatz stieg von 48% auf 53%), die Peer - Review - Zeit wurde von 12 Tagen auf 11 Tage verkürzt, und die Qualität der Gutachten hat sich nicht deutlich verändert.
David Maslove, der stellvertretende Leiter der Zeitschrift und intensivmedizinischer Arzt an der Queen's University in Kanada, sagt, die Zeitschrift hat nicht genug Geld, um die bezahlten Peer - Reviews langfristig aufrechtzuerhalten.
Experiment 2: Biology Open
Im Gegensatz dazu war der Versuch der gemeinnützigen Organisation The Company of Biologists in Cambridge, England, mit bezahlten Peer - Reviews in ihrer Zeitschrift Biology Open ein großer Erfolg, und sie hat beschlossen, dieses Modell fortzusetzen.
Bezahlungshöhe: 220 Pfund Sterling (etwa 295 US - Dollar) für jeden Gutachtentarif.
Antwortzeit: Die Zeitschrift fordert von den Gutachtern, dass sie innerhalb von 4 Tagen eine vorläufige Antwort geben, damit der Redakteur innerhalb einer Woche nach Einreichung des Manuskripts eine Entscheidung über die Annahme oder Ablehnung treffen kann.
Erstaunliche Ergebnisse: Im Versuch wurden alle Manuskripte innerhalb von 7 Werktagen vorläufig entschieden, und die durchschnittliche Bearbeitungszeit betrug nur 4,6 Werktage, während der vorherige Standard - Peer - Review - Prozess 38 Tage dauerte.
Alejandra Clark, die Leiterin der Zeitschrift, sagt, dass das Redaktionsteam einig ist, dass die Qualität der Gutachten gewährleistet ist.
Einige wissenschaftliche Förderorganisationen haben ebenfalls Schwierigkeiten, Gutachter zu finden.
„Es wird immer schwieriger, Leute zu finden, die Zeit, Fähigkeiten und die Bereitschaft haben, unsere Projektanträge zu bewerten.“ sagt Hanna Denecke, die Leiterin der deutschen Stiftung Volkswagen Foundation.
Dies ist der Fall, obwohl die Stiftung den Gutachtern fast 1000 Euro (etwa 1160 US - Dollar) pro Tag zahlt.
Am 30. Juni dieses Jahres haben mehrere britische Förderorganisationen auf einer Konferenz in London einen erfolgreichen Versuch angekündigt.
Das Ergebnis zeigt, dass dieses Modell die Bewertung von Förderanträgen doppelt so schnell wie der traditionelle Prozess durchführen kann.
Um die Bedenken der Leute zu beseitigen, dass die Gutachter negative Bewertungen für ihre Konkurrenten geben könnten, wurden die Anträge in verschiedene Gruppen aufgeteilt.
Die Gutachter müssen nur die Anträge außerhalb ihrer eigenen Gruppe bewerten, so dass sie die Wahrscheinlichkeit für die Genehmigung ihres eigenen Projekts nicht beeinflussen können.
Ein weiterer Grund, warum die Volkswagen Foundation das DPR - Modell bevorzugt, ist, dass es die Entscheidungsgewalt von etablierten Wissenschaftlern auf andere verteilt.
Diese etablierten Wissenschaftler verhalten sich manchmal wie Wächter und können andere von der Teilnahme abhalten.
Der echte Ausweg: Erweiterung des Gutachterpools
Unter dem Druck der sprunghaften Zunahme der Anträge beginnen einige Förderorganisationen sogenannte Nachfragemanagementmaßnahmen zu ergreifen, z. B. dass nur ein Antrag pro Universität für eine bestimmte Förderung in Betracht gezogen wird.
Aber Stephen Pinfield, ein Informationsspezialist an der University College London, weist darauf hin, dass dies nur die Peer - Review - Last an andere Stellen verlagert.
Letztendlich ist die am besten verbreitbare Lösung für das Arbeitskräfteproblem, das die Förderorganisationen und Zeitschriften haben, die Erweiterung des Gutachterpools.