Kollapse bei der Begutachtung von Top-Konferenzen: OpenReview enthüllt 94 gefälschte Gutachter, und Aliase von Universitäts-E-Mail-Adressen werden zum größten Schwachpunkt.

Das akademische Peer-Review-System basiert auf Vertrauen, doch die Lücken im Vertrauen können auch Zugänge zum Manipulieren des Systems werden.

Kürzlich hat ein 6-seitiges Berichtpapier, das von dem OpenReview-Team und Wissenschaftlern aus mehreren Universitäten veröffentlicht wurde, enthüllt: In den Monaten Februar bis April 2024 und April 2025 identifizierten sie bei der Untersuchung mehrerer akademischer Konferenzen auf dem Gebiet der Künstlichen Intelligenz (KI) 94 Reviewer- und Meta-Reviewer-Accounts, die mit fremden Identitäten registriert waren. Die Täter nutzten Schwachstellen im Reviewer-Einwerbungs-, Identitätsüberprüfungs- und Zuweisungsverfahren, um für sich selbst (ihre echte Identität) günstige Rezensionen zu schreiben oder zu erhalten.

Link zum Bericht: https://arxiv.org/pdf/2508.04024

Hinweis: Der Bericht ist von Nihar B. Shah (Carnegie Mellon University und Mitglied des OpenReview-Rats), Melisa Bok, Liu Xukun und Andrew McCallum (University of Massachusetts) gemeinsam unterzeichnet. OpenReview ist eine gemeinnützige Plattform, die Review-Infrastruktur für Konferenzen und Zeitschriften bietet und bereits über 2.000 Konferenzen und Workshops bedient hat, darunter die meisten Top-Konferenzen auf dem Gebiet der KI.

01 Wie entstand die Schwachstelle: Offene Einstellung von Reviewern, algorithmische Zuweisung und "nicht verifizierbare" akademische Identitäten

In der Informatik sind Top-Konferenzen (insbesondere auf dem Gebiet der KI) die wichtigsten Publikationsmöglichkeiten. Um der steigenden Anzahl von Einreichungen gerecht zu werden, müssen Konferenzen die Verteilung einer großen Anzahl von Rezensionen innerhalb weniger Tage erledigen. Üblicherweise werden zwei Ansätze verfolgt: Offene Einstellung von Reviewern (Forscher melden sich über ein Online-Formular freiwillig an) und halbautomatische Zuweisung basierend auf den Lebensläufen der Reviewer. Reviewer "bieten" (bidding) im System an, um ihre Interessen und Kompetenzen zu erklären, und die Plattform passt dann algorithmisch anhand ihres "Reviewer-Profils" (z. B. frühere Publikationen) und des Themas des Papers ab.

Die realen Druckfaktoren verstärken die Schwachstellen des Systems: Die Akzeptanzrate der Top-Konferenzen liegt bei etwa 15 % bis 25 %, und die Anzahl der Einreichungen hat sich in den letzten zehn Jahren "fast verzehnfacht". Einige Konferenzen erhalten jedes Jahr tausende oder sogar zehntausende von Papers. Die kurzfristige Expansion des Reviewer-Pools führt dazu, dass die Veranstalter stärker auf Online-Selbstangaben und automatische Zuweisung angewiesen sind und es schwierig ist, die Identitäten der Reviewer einzeln streng zu überprüfen.

Theoretisch könnte man ID-Plattformen wie ORCID nutzen, um die Überprüfung zu unterstützen. Der Bericht weist jedoch klar darauf hin: ORCID überprüft keine persönlichen Identitäten und verbietet keine doppelten Accounts, daher kann es keine "starke Identitätsüberprüfung" bieten. Ohne eine einheitliche, international nutzbare Online-"starke Identität" ist es für Review-Plattformen schwierig, die schnell anströmenden neuen Accounts zuverlässig zu identifizieren.

Dieses System, das auf Vertrauen basiert und auf Selbstangaben und algorithmischer Zuweisung beruht, legt die Grundlage für die nachfolgende "Identitätsdiebstahl".

02 Wie funktionierten die 94 gefälschten Identitäten: Falsche Lebensläufe, E-Mail-Aliase und "Umgehung" des Verfahrens

Die Untersuchung beschreibt ausführlich den typischen Vorgehensweise der Täter: Die Täter fälschen zunächst fremde akademische Identitäten (Institution, Paper-Links usw.) und hinterlassen bei der Selbstanmeldung oder Registrierung auf der Plattform eine eigene kontrollierbare E-Mail-Adresse. Nachdem der Projektleiter aufgrund der angegebenen Qualifikationen urteilt, dass der gefälschte Account "berechtigt ist, zu rezensieren", wird er in das System aufgenommen. Anschließend äußern die Täter während der "Bidding"-Phase ihr Interesse an Papers, die von ihrer echten Identität geschrieben wurden, oder erhöhen die Übereinstimmungswahrscheinlichkeit mit dem Zielpaper, indem sie das gefälschte Reviewer-Profil und das eingereichte Paper anpassen. Sobald der gefälschte Account zu einem Paper zugewiesen wird, schreibt er eine positive Rezension für das Paper der echten Identität. Der Bericht weist auch darauf hin, dass es Vorgehensweisen gibt, mehrere gefälschte Reviewer-Accounts gleichzeitig zu registrieren, um die Trefferwahrscheinlichkeit zu erhöhen, sowie Varianten von Kollusionsgruppen, die sich gegenseitig helfen.

Der entscheidende Durchbruch liegt in der E-Mail-Überprüfung. Normalerweise sendet die Plattform einen Bestätigungslink an die registrierte E-Mail-Adresse, und nur die Personen, die auf den Link klicken, können die "Rundreise-Überprüfung" (round-trip verification) bestehen. Die Untersuchung zeigt jedoch, dass alle 94 gefälschten Reviewer-Accounts diese Überprüfung bestanden haben. 92 dieser E-Mail-Adressen stammen von renommierten Universitäten, und 2 von der Domäne ".edu" von eingestellten Institutionen. Die technische "Umgehung" dahinter ist: Viele Universitäten erlauben es Lehrern, Studenten oder Gastwissenschaftlern, E-Mail-Aliase zu erstellen. Die Täter erstellen entweder nach der Erlangung der E-Mail-Berechtigung an einer Universität ein Alias, das "ähnlich dem Namen eines anderen Menschen" ist, oder arbeiten mit Komplizen von anderen Universitäten zusammen, um dieses Alias zu erstellen, und verwenden dann dieses Alias zusammen mit den Lebenslaufinformationen der gestohlenen Identität zur Registrierung, um so sowohl die "Übereinstimmung von E-Mail-Domäne und Institution" als auch die "E-Mail-Rundreise-Überprüfung" zu umgehen.

Der Bericht weist auch auf ein "statisches Risiko" hin: Viele Konferenzen verwenden automatisch die Reviewer-Listen aus den vergangenen Jahren. Dies bedeutet, dass wenn ein gefälschter Account das erste Mal nicht entdeckt wird, möglicherweise automatisch eingeladen wird, in den folgenden Jahren weiter zu rezensieren, und das Risiko kann über mehrere Jahre hinweg bestehen bleiben.

Um die Wahrscheinlichkeit der "gerichteten Zuweisung" zu verringern, hat die Wissenschaft bereits Verfahren zur randomisierten Zuweisung eingeführt, um die Wahrscheinlichkeit zu verringern, dass kolludierende Reviewer dasselbe Paper erhalten. Der Bericht hält jedoch einen einzigen Ansatz für unzureichend, um den vielfältigen Manipulationen entgegenzuwirken, und fordert eine stärkere systemische Verbesserung.

03 Der nächste Schritt der gemeinsamen Governance: Umsetzbare Lösungen für drei Akteure und Auswirkungen auf andere Szenarien

Der Bericht gibt Empfehlungen für eine gestufte Governance, die die Review-Plattformen und Konferenzen, Universitäten und die Verwaltung von Organisationsdomänen sowie die Auswirkungen auf andere akademische Prozesse umfasst. Die Kernidee ist: In einer Welt ohne "starke Identität" erhöht man die Kosten für böswillige Handlungen durch eine Kombination aus nachweisbaren akademischen Verhaltensmustern, sozialen Bürgschaften und technischen Kontrollen.

Empfehlungen für Review-Plattformen und Konferenzen:

1. Überprüfung der Identität anhand der "Publikationskette". Bindet die Reviewer an ihre vorhandenen Papers: Beispielsweise wird verlangt, dass die Reviewer und ihre früheren Papers auf derselben Plattform unter demselben Account/derselben E-Mail-Adresse auftauchen oder mit den verifizierten Autorenprofils auf Plattformen wie ACM/IEEE übereinstimmen. Auf diese Weise kann man die "schriftlichen Qualifikationen" in eine rückverfolgbare Einreichungs-Review-Kette umwandeln.

2. Einführung einer stärkeren dauerhaften Identitätsanmeldung. Wenn man dauerhafte Identifikatoren wie ORCID verwendet, sollte man die Anmeldung so gestalten, dass überprüft wird, ob die vom Reviewer behauptete ID mit der ID seiner vorhandenen Publikationen übereinstimmt (der Bericht weist darauf hin, dass dies eine tiefere Integration von ORCID in die Publikationsökosystem der Informatik erfordert).

3. Aufbau eines "Bürgschaftssystems" mit übertragbaren Konsequenzen. Für Reviewer-Bewerber, die noch nie auf dieser Plattform veröffentlicht haben, kann man sich an dem "Bürgschaftssystem von arXiv" orientieren, bei dem ältere Autoren für neue Autoren bürgen. Gleichzeitig sollten netzwerkartige Mitverantwortungen festgelegt werden, um den Missbrauch der Bürgschaft zu unterdrücken.

4. Anomalieerkennung in der Zeitdimension. Man sollte vorsichtig mit neu erstellten Reviewer-Profilen kurz vor der Einreichungsfrist umgehen; die Reviewer-Profile sollten öffentlich einsehbar sein, damit die akademische Gemeinschaft in größerem Umfang zur Identifizierung beitragen kann.

5. Traditionelle Anti-Fraud-Tools. Man sollte Techniken wie IP-Adressen und Browser-Fingerprints parallel nutzen, um zu identifizieren; und eine strenge Duplikatentfernung durchführen, um zu verhindern, dass eine Person mehrere Profile mit kleinen Unterschieden (z. B. verschiedene Institutionen) erstellt, um die Regeln zur Interessenkonfliktvermeidung zu umgehen. 6. Stärkung des Zuweisungsmechanismus. Man sollte die Paper-Review-Zuweisung robuster gegenüber "Spielstrategien" in Bezug auf die Angebote und die Textähnlichkeit machen, um die Möglichkeit für Täter zu verringern, den Matching-Algorithmus durch "Wortmanipulation" zu manipulieren (der Bericht gibt auf Seite 5 klare Hinweise auf diese Art von "spielbaren" Risiken).

Empfehlungen für Universitäten und Organisationen mit Domänen: 1. Strengere Überwachung von E-Mail-Aliasen. Wenn Aliase mit auffälligen Merkmalen wie "alan.turing@..." auftauchen, sollte dies automatisch eine Warnung auslösen. 2. Zulassung der Überprüfung der E-Mail-Eigentümerschaft durch Dritte. So kann eine Plattform wie OpenReview die tatsächliche Übereinstimmung zwischen E-Mail-Adresse und Person während der Registrierung feststellen. 3. Aufbau eines Reaktionsmechanismus. Bei Berichten über Identitätsdiebstahl sollte man eine gründliche Untersuchung durchführen und die möglichen Aliase und deren Erstellungspfade zurückverfolgen.

Hinweis: Das Titelbild wurde mit KI generiert.

Dieser Artikel stammt aus dem WeChat-Account "Big Data Digest" und wurde von 36Kr mit Genehmigung veröffentlicht.