Die erste Review-Runde von ICLR 2027 hat ziemlich viele frustrierende Punkte, an denen man viel auszusetzen hat.

In den letzten Tagen wurden die ersten Gutachten des Spitzenkongresses für maschinelles Lernen ICLR 2027 nach und nach veröffentlicht.

Für die Autoren von Arbeiten ist dies normalerweise ein ziemlich nervenaufreibender Moment. Die monatelangen oder sogar ein bis zwei Jahre dauernden Forschungsarbeiten werden nun endlich von Kollegen geprüft. Die Gutachter prüfen Methoden, Experimente und theoretische Ableitungen sorgfältig und weisen auf echte Probleme in der Forschung hin.

Aber in diesem Jahr haben einige Forscher nach dem Öffnen von OpenReview Gutachten gesehen, die sie zum Lachen und zum Weinen bringen.

Das Peer-Review-Verfahren der ICLR 2027 wurde plötzlich zu einem großen Ort der Beschwerden im KI-Bereich.

Einige baten die Autoren, die Standardabweichung zu erklären, andere fügten direkt KI-Prompts ein

Schauen wir uns zuerst Hanchen Li von der University of California, Berkeley an.

Er schrieb in einem Beitrag, dass er ein ICLR-Gutachten erhalten habe, in dem die Gegenseite sie aufforderte, zu erklären, was „Standardabweichung“ bedeutet.

Er scherzte außerdem, dass er sich nun wieder wie im Gymnasium fühle.

Der ursprüngliche Beitrag zeigte nicht den vollständigen Kontext der Arbeit und des Gutachtens, sodass nicht beurteilt werden kann, ob der Gutachter lediglich wollte, dass die Autoren die statistische Definition ergänzen, oder ob er Fragen zur spezifischen Verwendung in der Arbeit hatte.

Aber dieser Beitrag löste schnell Diskussionen aus.

Der Fall, den der andere Forscher Ravid Shwartz Ziv vorstellte, ist noch komischer. Er veröffentlichte die Gutachten von drei Gutachtern.

Der erste schrieb: „Die Arbeit ist gut geschrieben und behandelt ein wichtiges Problem. Die Autoren sollten jedoch zusätzliche Baselines in Betracht ziehen.“ Der zweite wiederholte diesen Satz fast wortwörtlich.

Beim dritten änderte sich der Ton plötzlich: „Natürlich! Hier ist ein Gutachten der Arbeit“. Erst danach begann der eigentliche Gutachteninhalt. Sogar die für KI-generierte Texte typische Gesprächseröffnung wurde nicht sauber entfernt.

Zwei der Bewertungen scheinen aus derselben Vorlage kopiert worden zu sein, die dritte weist noch deutlichere Spuren einer KI-Generierung auf. Noch ärgerlicher für die Autoren ist, dass all diese Meinungen schließlich in das offizielle Peer-Review-Verfahren aufgenommen wurden.

Ein weiteres Problem, auf das der Forscher Konstantin Grotov stieß, betrifft das KI-gestützte Schreiben. Er gab an, dass seine bei der ICLR eingereichte Arbeit ein Gutachten erhalten habe, das sich hauptsächlich auf die Verwendung von KI bezog.

Das Problem liegt darin, dass die Arbeit die Verwendung von KI beim Schreiben bereits wie gefordert offengelegt hatte.

Grotov erläuterte anschließend, dass Gutachter natürlich die Verwendung von KI in Frage stellen dürfen, aber sie müssen konkrete technische Argumente vorlegen, die zeigen, wie diese Verwendung die Qualität, die Forschungsergebnisse oder die Glaubwürdigkeit der Arbeit beeinträchtigt. Nur weil eine Arbeit KI verwendet, sie als Grund für die Ablehnung anzusehen, ist offensichtlich nicht ausreichend.

Der nächste Fall ist noch subtiler.

Der Forscher Artur Chakhvadze teilte ein Gutachten, in dem der Gutachter offen zugab, dass er nicht über ausreichende Fachkenntnisse verfügt, um diese Arbeit gut bewerten zu können.

Chakhvadze zeigte sich damit sogar einverstanden: Zumindest hat dieser Gutachter ehrlich die Grenzen seiner Fähigkeiten eingeräumt. Er beschwerte sich außerdem, dass er viele Gutachten gesehen habe, bei denen die Gutachter nicht einmal die Grundkenntnisse des Fachgebiets der Arbeit verstanden haben, aber trotzdem eine hohe Vertrauensbewertung von 3/4 vergeben.

Dieser Beitrag löste unterschiedliche Meinungen aus. Einige meinten, dass es viel verantwortungsbewusster sei, wenn ein Gutachter offen angibt, dass er sich mit dem Forschungsbereich nicht auskennt, als so zu tun, als ob er alles versteht und das Gutachten willkürlich zu erfinden. Andere fragten nach: Wenn der fachliche Hintergrund nicht passt, warum wurde diese Arbeit ihm überhaupt zugewiesen? Chakhvadze fügte später hinzu: Der Gutachter selbst ist nicht unbedingt schuldig, was wirklich in Frage zu stellen ist, ist der Prozess der Zuweisung und Verwaltung der Gutachten.

Nach dem Lesen mehrerer Beiträge handelt es sich eigentlich um verschiedene Arten von Problemen: Einige haben die Arbeit nicht vollständig verstanden, einige verlassen sich möglicherweise auf KI, um Bewertungen zu generieren, und andere wurden einem Forschungsbereich zugewiesen, mit dem sie nicht vertraut sind. All dies führt letztendlich zu einer Frage: Können die Gutachten, die die Autoren erhalten, wirklich zur akademischen Beurteilung beitragen?

KI ist gut darin, Fehler zu finden, weiß aber nicht unbedingt, welche Fehler eine Ablehnung rechtfertigen

In dieser Diskussion ist eine Ansicht besonders bemerkenswert.

Jiaxin Pei von der University of Texas in Austin wies darauf hin, dass das für ihn ärgerlichste Gutachterproblem im Jahr 2026 darin besteht, dass KI-Gutachter offenbar nicht zwischen den „Einschränkungen“ einer Arbeit und den „kritischen Problemen“ unterscheiden können, die die Gültigkeit der Arbeit beeinträchtigen.

Er ist der Ansicht, dass große Sprachmodelle leicht hunderte von Einschränkungen in einer Arbeit finden können, selbst bei den besten Arbeiten der Geschichte ist das der Fall. Das bedeutet aber nicht, dass diese Arbeiten nicht angenommen werden sollten.

Dieser Satz weist auf einen wichtigen Mangel hin, wenn KI am Peer-Review teilnimmt. Eine wissenschaftliche Arbeit kann kaum alle Aspekte abdecken. Der Umfang der Experimente kann begrenzt sein, einige Szenarien werden nicht abgedeckt, die Methode kann auf bestimmten Annahmen beruhen, und die theoretische Analyse hat möglicherweise einen Anwendungsbereich. All dies sind normale Einschränkungen der Forschung.

Was wirklich bestimmt, ob eine Arbeit gültig ist, ist die Frage, ob diese Einschränkungen ihren zentralen Beitrag untergraben.

Gutachter können natürlich verlangen, mehr Datensätze, größere Modellumfänge und mehr Kontrollexperimente hinzuzufügen. Aber wenn die vorhandenen Experimente bereits ausreichen, um die zentralen Schlussfolgerungen der Arbeit zu stützen, stellen zusätzliche Experimente nicht unbedingt einen Grund für die Ablehnung dar. Umgekehrt, wenn das wichtigste experimentelle Design der Arbeit Lücken aufweist oder es nicht behebbare Fehler in der theoretischen Ableitung gibt, kann die Arbeit auch dann ungültig sein, wenn andere Teile sehr gut geschrieben sind.

Dafür ist die Fähigkeit erforderlich, die Wichtigkeit von Problemen zu beurteilen. Große Modelle verwechseln diese beiden Dinge jedoch leicht. Sie können ständig potenzielle Probleme auflisten, wissen aber nicht unbedingt, welches Problem die Forschungsschlussfolgerung wirklich beeinträchtigt. Dadurch werden die Gutachten möglicherweise immer länger, die Anzahl der zu ergänzenden Experimente steigt, und die zentralen Probleme, die die Qualität der Arbeit bestimmen, werden stattdessen übersehen.

Dieser Beitrag von Jiaxin Pei hat bei vielen Forschern Resonanz ausgelöst.

Einige wiesen darauf hin, dass dieses Problem in das Peer-Review-System selbst eindringt. Heutzutage scheint es auf jeder akademischen KI-Konferenz eine Reihe von Gutachtern zu geben: Sie geben den Arbeiten niedrige Bewertungen und verlangen gleichzeitig von den Autoren, neue Experimente zu ergänzen, die unwichtig sind oder nur kleine Ergänzungen zu den vorhandenen Experimenten darstellen.

Andere schlugen ein direktes Beurteilungskriterium vor: Wenn dieses Problem behoben wird, ändert sich dann die zentrale Schlussfolgerung der Arbeit? Wenn die Antwort nein ist, handelt es sich möglicherweise nur um eine gewöhnliche Einschränkung und nicht um einen kritischen Mangel, der die gesamte Arbeit widerlegt. Genau das ist die Fähigkeit, die das Peer-Review am meisten benötigt: zu wissen, worauf man achten soll und was man akzeptieren kann.

Schlussbemerkung

Wenn man all diese Fälle zusammen betrachtet, stellt man fest, dass die Kontroverse um die ICLR dieses Mal nicht einfach ein Problem des Niveaus der Gutachter ist.

Der größere Hintergrund ist, dass KI sowohl die Produktionsseite als auch die Bewertungsseite der akademischen Forschung gleichzeitig verändert.

Das Peer-Review selbst ist eine Arbeit, die stark von Fachwissen und Zeitaufwand abhängt. Die Wachstumsgeschwindigkeit der Anzahl der Arbeiten kann nicht unbedingt von der Anzahl der fachkundigen Gutachter eingeholt werden. Das Programmkomitee der ICLR 2027 hat dieses Problem zuvor ausdrücklich erläutert. Am 2. September veröffentlichte das Programmkomitee der ICLR 2027 einen offiziellen Artikel, in dem es die neuen Belastungen analysierte, denen das Peer-Review im KI-Zeitalter ausgesetzt ist.

https://blog.iclr.cc/2026/09/02/submission-policies-for-iclr-2027/

Das Komitee wies darauf hin, dass der Bereich des maschinellen Lernens in den letzten Jahren schnell gewachsen ist, die Anzahl der Neueinsteiger die der erfahrenen Forscher weit übersteigt, und die Zahl der Personen mit fachkundiger Gutachterfähigkeit möglicherweise nicht mit dem Wachstum der Einreichungen Schritt halten kann. Generative KI senkt zudem die Schwelle für die Erstellung von Arbeiten: Selbst Personen, die mit einem bestimmten Forschungsbereich nicht vertraut sind, können mithilfe von KI Manuskripte erstellen, die äußerlich wie Forschungsarbeiten aussehen. Gleichzeitig wird es zu einem neuen zu lösenden Problem, dass Gutachter ihre Gutachterarbeit an KI übergeben.

Um die angespannte Situation bei den Gutachterressourcen zu lindern, hat die ICLR 2027 eine Reihe von Maßnahmen eingeführt, darunter die Begrenzung der Anzahl der Einreichungen und die Stärkung des gegenseitigen Gutachtersystems.

Die Gutachterpflichten wurden zudem weiter verschärft: Autoren, deren Name auf 3 oder mehr Einreichungen erscheint, müssen mindestens 6 Arbeiten begutachten. Außerdem muss für jede Einreichung mindestens ein Autor mit der erforderlichen Qualifikation sich als Gutachter registrieren und sich verpflichten, mindestens 3 Arbeiten zu begutachten. Wenn kein Autor über die entsprechende Qualifikation verfügt, kann diese Anforderung erlassen werden.

Im Hinblick auf die Verwendung von KI verbietet die I