Das akademische Milieu ist in Aufruhr, die Gutachter der ICLR haben sich offenbart, und es stellte sich heraus, dass die schlechten Noten von Freunden vergeben wurden.

Eine echte offene Begutachtung: „Der Vater der Götter schenke mir Einsicht!“

Es ist unbekannt, wie viele Menschen letzte Nacht den ganzen Abend wachgeblieben sind.

Am Abend des 27. November, chinesischer Zeit, war die gesamte chinesische Künstliche-Intelligenz-Community in Aufruhr. Auf der OpenReview-Plattform, die am häufigsten für die Begutachtung wissenschaftlicher Artikel verwendet wird, führte ein Frontend-Bug zu einem Datenbankleck, wodurch die ursprünglich doppelt-blind durchgeführte Begutachtung aufgedeckt wurde.

Die Methode für diesen Informationsaustritt war unglaublich einfach: Man musste nur eine bestimmte URL in den Browser eingeben, die Paper-ID und die Nummer des Gutachters ersetzen, und konnte so die Identität des entsprechenden Gutachters herausfinden. Man konnte erfahren, wer seinen Artikel begutachtet hat und welche Note ihm gegeben wurde.

Da es keine Schwierigkeiten bei der Bedienung gab, wechselte jeder sofort in den Untersuchungsmodus, nachdem die Nachricht verbreitet war. Schließlich hat jeder in der heutigen Zeit schon mal Probleme mit Gutachtern gehabt, und nun hatte man endlich die Möglichkeit, „Rache zu nehmen“.

Dies führte zu unzähligen Überraschungen, Schrecken, Ärger und Jammern. In WeChat-Gruppen und auf Xiaohongshu erzählten die Betroffenen ihre Geschichten. Es gab Leute, die andere entlarvten, und Leute, die entlarvt wurden. Man kann niemals erraten, wer einem seinen Artikel mit einer schlechten Note belegt hat.

Die Gründe für schlechte Noten variierten. Manche Gutachter haben die Absicht des Autors nicht verstanden, andere hatten persönliche Auseinandersetzungen (z. B. Mitglieder einer Gruppe geben sich gegenseitig schlechte Noten). Noch schlimmer war es, wenn jemand eine schlechte Note gab, um seinem eigenen Artikel im gleichen Bereich „den Weg freizumachen“. Jemand hat dank dieses Datenleckes bewiesen, dass der Gutachter, der seinem Artikel vor fünf Monaten eine Note von 1 gegeben hatte, einen anderen Artikel eingereicht hatte und nicht einmal die Arbeit des Autors zitierte.

Es gab bald weitere Enthüllungen in den sozialen Medien. Einige mutmaßliche Gutachter, die absichtlich schlechte Noten gegeben hatten, haben ihre Bewertungen drastisch erhöht, nachdem ihre Identitäten aufgedeckt wurden.

Die Zuschauer sagen, dass diese Enthüllung die immer schlimmer werdenden Konflikte bei der Begutachtung von Artikeln auf Top-Künstliche-Intelligenz-Konferenzen zu einem neuen Höhepunkt gebracht hat. Es ist so dramatisch geworden, dass es von einem Zustand des „dunklen Waldes“ in eine Ära der offenen Kommunikation gewechselt ist.

Man sollte nie denken, dass man sich im Internet wirklich anonym halten kann.

Es stellte sich bald heraus, dass der Bug in OpenReview systemweit war. Indem man einen anderen Teil der URL ersetzte, konnte man auch die ICLR-Artikel anderer Jahre sowie die Artikel von anderen Top-Künstliche-Intelligenz-Konferenzen wie NeurIPS, ICML und ACL einsehen.

Es ist bekannt, dass aufgrund der Popularität des Künstliche-Intelligenz-Bereichs und der starken Zunahme der eingereichten Artikel alle Konferenzen mit einem Mangel an Gutachtern konfrontiert sind. Die Menschen beschweren sich immer wieder über die sinkende Qualität der Begutachtung. Bei der ICLR 2026 hat Pangram Labs eine Datenanalyse durchgeführt und festgestellt, dass etwa 21 % der Peer-Reviews bei der ICLR vollständig von Künstlicher Intelligenz generiert wurden und über die Hälfte der Reviews Spuren der KI-Nutzung aufwies.

Andererseits wurden 199 Artikel entdeckt, die vollständig von KI generiert wurden, und 9 % der Artikel enthielten über 50 % von KI generierten Texten.

Als eine der drei Top-Konferenzen im Bereich Künstliche Intelligenz hat die ICLR in den letzten Jahren immer mehr Aufmerksamkeit in der akademischen und wirtschaftlichen Welt erhalten. Die Konferenz 2026 wird im nächsten April in Rio de Janeiro, Brasilien, stattfinden. Bei dieser Konferenz wurden 19.490 Forschungsartikel eingereicht, und es gab 75.800 Peer-Review-Bewertungen.

Um Mitternacht am Freitag wurde der Bug dringend behoben, und die ICLR veröffentlichte endlich eine offizielle Erklärung.

Die ICLR erklärte, dass jeder, der die ausgeleakten Informationen nutzt, preisgibt oder teilt, von der Konferenz ausgeschlossen und für lange Zeit von der ICLR gesperrt wird. Die Veranstalter planen auch weitere Maßnahmen in Zukunft.

Anschließend gab auch OpenReview eine offizielle Ankündigung heraus.

Dies scheint jedoch die Leidenschaft einiger Zuschauer nicht gebremst zu haben. Es scheint, dass jemand die gesamte Liste kopiert und eine Datenanalyse durchgeführt hat. Manche haben eine Liste der Gutachter mit ungewöhnlich niedrigen Noten zusammengestellt.

Basierend auf den Bewertungen der ersten 10.000 eingereichten Artikel bei der ICLR 2026 und der Herkunft (Hauptsprache) der Gutachter wurde ein Durchschnittswert für die Notengebung erstellt. Es scheint, dass die Chinesen im Allgemeinen großzügiger sind, während die Koreaner strenger sind.

Bei diesem Tempo werden wir vielleicht bald erfahren, wer der Gutachter war, der bei der NeurIPS im August diesen Jahres den Kommentar „Who's Adam?“ geschrieben hat.

Größen aus der akademischen und wirtschaftlichen Welt haben sich ebenfalls zu diesem Ereignis geäußert.

Yisong Yue, Professor für Informatik und Mathematikwissenschaften an der Kalifornien Institute of Technology, Mitglied des ICLR-Rats und Vorsitzender der ICLR 2025, sagte: „Wir müssen jetzt eine Sitzung haben. Ich bin total überfordert.“

Insgesamt hat das ICLR-Datenleck die akademische Fairness schwer beschädigt. Das Fehlen der Anonymität der Gutachter behindert die kritische Auseinandersetzung mit der Forschung und gibt den Autoren die Möglichkeit, sich zu wehren, was das ursprüngliche Gleichgewicht stört. Dies hat die Glaubwürdigkeit der akzeptierten Artikel beeinträchtigt. Andererseits hat der durch das Datenleck ausgelöste Rummel auch Anlass zu Nachdenken gegeben, da in der völlig anonymen Begutachtung manchmal absichtliche und verantwortungslose Kommentare vorkommen.

Man fragt sich, ob sich das anonyme Begutachtungssystem nach diesem Ereignis ändern wird?

Dieser Artikel stammt aus dem WeChat-Account „Machine Heart“ (ID: almosthuman2014), Autor: Ein Zuschauer. 36Kr hat die Veröffentlichung mit Genehmigung durchgeführt.