arXiv verbietet KI, dumm! 18 Hochschulen veröffentlichen gemeinsam die erste KI-Forschungsbewertungsplattform

In letzter Zeit hat arXiv offiziell die neuesten Einreichungspolitiken für die Kategorie Informatik (CS) veröffentlicht: Zusammenfassungen (Review) und Positionspapiere (Position Paper) werden nicht mehr direkt akzeptiert, es sei denn, das Papier wurde von einer offiziellen Zeitschrift oder Konferenz akzeptiert und hat die Peer-Review-Phase abgeschlossen.

Mit anderen Worten, selbst Workshop-Papiere von wissenschaftlichen Konferenzen werden nicht mehr als qualifizierte Quellen angesehen.

Die Einführung dieser neuen Regel markiert erstmals die Einrichtung einer „Zugangsschwelle“ von arXiv angesichts des exponentiellen Anstiegs von AI-generierten Papieren.

In den letzten sechs Monaten hat arXiv CS jeden Monat Hunderte von AI-generierten oder halbautomatisch generierten Zusammenfassungen und Positionspapieren erhalten, deren Qualität unterschiedlich war und das von Freiwilligen manuell geprüfte System fast an den Rand des Kollaps brachte.

Um die Belastung zu reduzieren und die Glaubwürdigkeit des Inhalts zu wahren, war arXiv gezwungen, diese „strengste Regelung“ in der Geschichte zu starten.

Ähnliche Phänomene treten auch im Review-System von Spitzenkonferenzen auf. Beispielsweise zeigen die kürzlich veröffentlichten Daten von ICLR2025, dass etwa ein Fünftel der Review-Kommentare als fast vollständig von großen Modellen generiert eingestuft wurde. Das Wachstum der Review-Belastung schüttelt die traditionelle akademische Governance-Struktur.

Vor diesem Hintergrund hat die Politik-Änderung von arXiv breite Sorgen ausgelöst: Wenn Zusammenfassungen und Positionspapiere keinen sofortigen öffentlichen Zugang haben, wird der Raum für die fortschrittliche Diskussion in der AI-Wissenschaft erheblich eingeschränkt.

Im Zeitalter der Künstlichen Intelligenz ist die Geschwindigkeit der akademischen Kommunikation ein wichtiger Bestandteil der wissenschaftlichen Innovation: Wenn eine Zusammenfassung drei bis sechs Monate braucht, um den traditionellen Review-Prozess zu durchlaufen, ist ihr Wert oft schon von neueren Modellen oder Algorithmen ersetzt worden.

Link zum Papier: https://arxiv.org/abs/2508.15126

Online-Erfahrung: https://aixiv.science/

Antwort auf die neue Ära

aiXiv taucht auf

Angesichts dieser Lücke hat aiXiv als neues wissenschaftliches Infrastrukturprojekt frühzeitig eine Lösung angeboten.

aiXiv ist die weltweit erste offene Preprint- und wissenschaftliche Agenten-Community-Umgebung, die gleichzeitig AI-authored und Human-authored Inhalte akzeptiert, verschiedene Forschungsergebnisse wie Surveys, Positionspapiere, Vorschläge und Papiere unterstützt und über ein AI-Review- und Revisionseingabe-Mechanismus verfügt.

Im Gegensatz zu arXiv ist aiXiv nicht nur eine Plattform zur Papierverwaltung, sondern ein wissenschaftliches Ökosystem, das für zukünftige Künstliche Intelligenz-Wissenschaftler (AI Scientist), Roboterwissenschaftler (Robot Scientist), AI-Co-Scientists und menschliche Wissenschaftler entwickelt wurde.

Es unterstützt den gesamten wissenschaftlichen Lebenszyklus von der Einreichung, der Prüfung, der Revision bis zur Veröffentlichung und der versionsbasierten Verfolgung und ersetzt das traditionelle einheitliche manuelle Review-Modell durch eine strukturierte AI-Peer-Review, um ein neues wissenschaftliches Veröffentlichungssystem von „generiert von AI, geprüft von AI und gemeinsam verwaltet von Menschen“ zu realisieren.

Demo-Vorführung der aiXiv-Testwebsite

Herausforderungen an das traditionelle akademische Publikationssystem

Das aiXiv-Team weist in einem Papier darauf hin, dass das traditionelle akademische Publikationssystem einer beispiellosen strukturellen Herausforderung gegenübersteht.

Dieses System wurde ursprünglich für das wissenschaftliche Modell von „menschliche Autoren + manuelle Prüfung“ entwickelt, aber angesichts des explosionsartigen Wachstums von AI-generierten Forschungsergebnissen ist es heute an seine Grenzen gestoßen.

Zunächst ist die Effizienz der manuellen Prüfung der größte Engpass.

Ob Konferenzen oder Zeitschriften, der bestehende Review-Prozess hängt stark von der manuellen Prüfung durch Experten ab, ist langwierig und hat eine geringe Kapazität. Er kann überhaupt nicht mit der Geschwindigkeit der täglich hunderte von automatisch generierten Papieren durch AI mithalten.

Zweitens ist die Qualitätssicherung von Preprint-Plattformen fast null.

Plattformen wie arXiv ermöglichen es zwar, dass Papiere sofort veröffentlicht und gesehen werden können, aber es fehlt an einem effektiven Qualitätsprüfungsmechanismus, was dazu führt, dass die Informationen „veröffentlichbar, aber nicht vertrauenswürdig“ sind und es schwierig ist, ein wissenschaftliches Vertrauenssystem aufzubauen.

Das Problem der Autorenangabe wird immer schwieriger.

Die Beteiligung von AI an der wissenschaftlichen Forschung nimmt ständig zu, aber es gibt derzeit keine Einigkeit darüber, wie die Autorenidentität, der Beitragsanteil und die Regeln für die Autorenangabe definiert werden sollen. Diese Unklarheit beeinflusst nicht nur die akademische Ethik, sondern bringt auch die Verbreitung und Zitierung von Ergebnissen in einen grauen Bereich.

Zur gleichen Zeit hat der Vorschlag (Proposal) in der frühen Phase der wissenschaftlichen Forschung fast keinen Platz.

Die bestehenden Plattformen richten sich hauptsächlich an die Veröffentlichung von Papieren, und es fehlt an einem offenen, strukturierten Raum für den Austausch, die Kollision und die Iteration von Ideen. Dies bedeutet, dass eine große Menge an Innovationen im Keim erstickt wird und keine Chance hat, Feedback von Kollegen zu erhalten oder gemeinsam vergrößert zu werden.

Außerdem gibt es sicherheitstechnische und Ausrichtungsherausforderungen bei der AI-Prüfung selbst.

Automatische Review-Systeme auf der Grundlage von großen Modellen sind anfällig für Prompt Injection oder semantische Manipulation, und es ist auch schwierig, die Evidenzlage und die Basiskonsistenz der Review-Kommentare zu gewährleisten. Wenn es keine effektive Governance gibt, können diese Risiken die Glaubwürdigkeit des gesamten Review-Systems untergraben.

Schließlich arbeiten wissenschaftliche Agenten immer noch getrennt voneinander.

Ob menschliche Forscher, AI-Reviewer oder experimentelle Roboter, derzeit gibt es keine einheitliche, offene und erweiterbare wissenschaftliche Umgebung, in der sie zusammenarbeiten können. Das Fehlen von standardisierten Schnittstellen macht es fast unmöglich, die Qualität von Forschungsergebnissen zu verfolgen und die Versionen zurückverfolgen.

Vergleich der Funktionen verschiedener akademischer Plattformen: Automatische Prüfung (AR), AI als Autor (AA), Prompt-Injection-Detektion (PID), Schnittstelle für wissenschaftliche Agenten (AI)

Wenn man über die Definition von „Allgemeiner Künstlicher Intelligenz (AGI)“ oder „Allgemeinen Robotern“ spricht, denkt man oft zuerst an einige konkrete Testkriterien.

Beispielsweise kann eine AI hervorragende Ergebnisse in der Hochschulaufnahmeprüfung erzielen, kann eine Goldmedaille bei der Internationalen Mathematik-Olympiade (IMO) gewinnen, oder kann ein Roboter Hausarbeiten verrichten und ältere Menschen betreuen wie ein Mensch.

Diese Kriterien können die Verständnis- und Anpassungsfähigkeit von Intelligenzsystemen widerspiegeln, aber sie sind immer noch auf die Nachahmung und das Ersetzen menschlicher Aufgaben beschränkt. Was wirklich wichtig ist, sind tiefere Messdimensionen: Kann eine AI in der wissenschaftlichen Forschung völlig neue Erkenntnisse und Entdeckungen schaffen.

Nach Ansicht des aiXiv-Teams ist die Fähigkeit, die Grenzen der Wissenschaft voranzutreiben und die menschliche Kognition und physikalischen Grenzen zu überwinden, eines der wichtigen Zeichen dafür, ob Superintelligenz (Superintelligence) wirklich entstanden ist[1].

Die wissenschaftliche Innovation selbst ist die höchste Erscheinung menschlicher Intelligenz, und wenn eine AI auch auf dieser Ebene eigenständig Fortschritte machen kann, wird die Definition von „Intelligenz“ neu gestaltet.

Seit langem ist der Fortschritt der wissenschaftlichen Forschung durch Faktoren wie die Kreativität der Forscher, ihren akademischen Hintergrund und die Zeit begrenzt. Aber mit der schnellen Entwicklung der Technologien von großen Sprachmodellen (LLM) und Agenten (AI Agent) wird diese Beschränkung schrittweise aufgehoben.

Heutige AI kann nicht nur Wissenschaftlern helfen, sondern auch von der Formulierung von Forschungsfragen, der Planung von Experimenten bis zum Schreiben von Papieren den gesamten Prozess automatisch durchführen.

Das von Chris Lu's Team von Sakana AI vorgeschlagene The AI Scientist [2] und das Virtual Lab [3] von James Zou's Team der Stanford University haben in der Praxis die Machbarkeit von AI als „selbstständiger Wissenschaftler“ bestätigt. Diese Studien offenbaren gemeinsam einen Trend: Die wissenschaftliche Entdeckung tritt in eine neue Skalierungsära Scaling Laws ein[1].

Ist die menschliche Gesellschaft bereit, wenn diese „wissenschaftliche Intelligenz“ wirklich in die Skalierungsphase eintritt?

Elon Musk hat 2024 vorhergesagt, dass in den nächsten drei Jahren möglicherweise 20 bis 30 Milliarden menschenähnliche Roboter auftauchen könnten.

Selbst wenn man diese Zahl verringert und die physische Form weglässt und nur virtuelle AI-Agenten berechnet, wächst die Anzahl immer noch exponentiell.

Stellen Sie sich vor, eine Milliarde wissenschaftliche AI-Agenten generieren gleichzeitig Forschungsvorschläge und Papiere. Der damit verbundene Review-Bedarf übersteigt bei weitem die Kapazität des menschlichen Review-Systems. Tatsächlich zeigt sich bereits das Anzeichen dieses Problems.

Im Jahr 2025 hat die Anzahl der eingereichten Papiere bei NeurIPS und AAAI jeweils die 30.000-Marke überschritten. „Es fehlen Reviewer“ wird allmählich zur realen Herausforderung für die gesamte akademische Welt.

Vor diesem Hintergrund taucht eine Schlüsselfrage auf: Wenn AI-Wissenschaftler und Roboterwissenschaftler ständig eine riesige Menge an Forschungsergebnissen produzieren, wie können wir ein neues wissenschaftliches System aufbauen, das diese Ergebnisse aufnehmen, prüfen und vertrauen kann?

Die systematische Lösung von aiXiv

Die Entstehung von aiXiv ist ein neues Experiment angesichts des Übergangs des wissenschaftlichen Systems. Es ist die weltweit erste Plattform, die sich an Forschungsvorschläge (Research Proposal) und Papiere (Paper) von AI-Scientists, Robot Scientists und menschlichen Wissenschaftlern richtet und auf der Grundlage des Open Access einen AI-Peer-Review- und Mehrfachrevisionseingabe-Mechanismus einführt.

Das Ziel von aiXiv ist es, ein kollaboratives Ökosystem für menschliche Forscher und verschiedene wissenschaftliche Agenten aufzubauen, die Spaltung und Abgeschlossenheit des bestehenden akademischen Systems zu brechen. Die wissenschaftliche Forschung soll nicht nur „einmalig veröffentlicht“ werden, sondern einen nachhaltig entwickelnden Kreislaufprozess bilden.

Der gesamte Prozess von der Einreichung, der Prüfung, der Revision bis zur Veröffentlichung kann auf der Plattform vollständig abgeschlossen werden. Forscher und Agenten können auch über standardisierte Schnittstellen (API, MCP) nahtlos angeschlossen werden und in der gleichen Umgebung strukturiert zusammenarbeiten und Wissen sammeln.

Übersicht über die aiXiv-Plattform

Bei der Mechanismusgestaltung hat aiXiv die Vorteile des traditionellen akademischen Publikationssystems übernommen und es systematisch neu strukturiert.

Die Plattform verwendet einen mehrstufigen, strukturierten Review-Prozess, damit Forschungsvorschläge und Papiere durch kontinuierliches Feedback und Iteration ständig verbessert werden können.

Zugleich führt die Plattform eine versionsbasierte Aufzeichnung des Änderungs- und Verbesserungsprozesses jeder Version durch und bildet eine nachverfolgbarer „Qualitätsentwicklungspfad“.

Durch den Mehrmodell-Stimmabgabemechanismus vermeidet aiXiv die Vorurteile eines einzelnen Modells oder eines einzelnen Reviewers und macht die endgültige Entscheidung fairer, stabiler und zuverlässiger auf der Grundlage eines breiten Konsenses.

Im Bereich der Sicherheit und Ausrichtung hat aiXiv ebenfalls eine Reihe von innovativen Maßnahmen eingeführt. Die Plattform integriert in der Review-Phase eine Sucherweiterungstechnologie, so dass die von AI generierten Review-Kommentare mit echten Literaturquellen verglichen werden können und sichergestellt wird, dass jede Entscheidung auf Fakten und Beweisen basiert.

Darüber hinaus ist das System mit einem mehrschichtigen Prompt-Injection-Detektions- und Verteidigungsmodul ausgestattet, um potenzielle Manipulationen und Angriffe zu erkennen und so die Fairness und Vertrauenswürdigkeit des gesamten Review-Prozesses zu gewährleisten.

Nach den Experimenten des Teams kann die Genauigkeit von großen Sprachmodellen bei der Aufgabe des paarweisen Review (Pairwise Review) von Papieren 81% erreichen. Dies zeigt, dass das AI-Review-System nicht nur den akademischen Inhalt verstehen kann, sondern auch ein beträchtliches Maß an Urteilsvermögen besitzt.

Mit anderen Worten, LLM ist nicht mehr nur ein Generator von wissenschaftlichen Inhalten, sondern ein „wissenschaftlicher Partner“, der gemeinsam mit Menschen an der Bewertung und Verbesserung beteiligt sein kann.

Durch diesen Kreislaufmechanismus der Mensch-Maschine-Kollaboration hofft aiXiv, dass die wissenschaftliche Forschung sowohl in Bezug auf die Qualität als auch auf die Effizienz kontinuierlich verbessert wird.