Wettet auf die gleiche Richtung wie Jeff Dean: Ein 27-jähriger Assistenzprofessor der Tsinghua-Universität gründet ein Startup und sammelt innerhalb von zwei Monaten eine Finanzierung von mehreren hundert Millionen Yuan ein.

Text ｜ Xinyi Wang

Redaktion ｜ Yuxin Zhang

In diesem Jahr ist die Verbesserung von KI durch KI selbst fast zum Konsens der führenden Labore im In- und Ausland geworden.

In den letzten fast zwölf Monaten sind Andrej Karpathy, Gründungsmitglied von OpenAI, Yuan-Dong Tian, ehemaliger Forschungsdirektor von Meta FAIR, und Jeff Dean, ehemaliger Chefwissenschaftler von DeepMind, nacheinander in den Hype um Startups im Bereich RSI (Recursive Self-Improvement, rekursive Selbstverbesserung) eingetreten.

Was mit RSI geschieht, ist fast eine Geschichte, die der des Weltmodells sehr ähnelt – selbst die fortschrittlichsten Labore haben keine bahnbrechenden Ergebnisse im Bereich der rekursiven Selbstverbesserung erzielt, und die technische Unsicherheit wurde schnell von großen Narrativen und dem heißen Kapitalmarkt überdeckt. Yuan-Dong Tian ist ein typisches Beispiel: Im Mai dieses Jahres gab sein Startup Recursive Superintelligence bekannt, eine Finanzierung von 650 Millionen US-Dollar abgeschlossen zu haben, noch bevor es Ergebnisse vorlegte, und seine Bewertung stieg auf 4,65 Milliarden US-Dollar.

Dieser Hype breitete sich auch auf China aus. Im Januar dieses Jahres stand Yongchao Chen, der im gemeinsamen Ausbildungsprogramm von Harvard und MIT studierte und kurz vor seinem Doktorabschluss stand, an der Kreuzung seiner beruflichen Entscheidungen: Auf der einen Seite stand ein Stellenangebot von DeepMind sowie Angebote für eine Mitbegründung von mehreren ausländischen Startups, die sich auf die automatische wissenschaftliche Forschung mit KI spezialisiert haben; auf der anderen Seite kam der von ihm zwei Jahre lang erwartete richtige Zeitpunkt für die Gründung eines Unternehmens genau in diesem Moment.

Was er anstrebt, ist die Schulung eines allgemeinen Modells mit Selbstverbesserungsfähigkeit, das auf einem selbstverbessernden Harness die Forschungen durchführt, die menschliche Wissenschaftler durchführen, einschließlich der Entwicklung von Ideen, der Literatursuche und der Durchführung von Experimenten.

Nach einer Reihe von Überlegungen wählte er die zweite Möglichkeit, kehrte nach China zurück und gründete Apex Intelligence, das sich auf die Forschung und Entwicklung von grundlegenden Modellen mit autonomer Evolution spezialisiert, und trat gleichzeitig als Mitarbeiter an die Tsinghua-Universität ein.

Der 27-jährige Yongchao Chen wurde der jüngste Assistenzprofessor in der Geschichte der Fakultät für Künstliche Intelligenz der Tsinghua-Universität. Apex Intelligence, das er im Juli offiziell gründete, schloss in nur zwei Monaten zwei Finanzierungsrunden im Wert von mehreren hundert Millionen Yuan ab.

Laut „Intelligenz Emergiert“ hat Apex Intelligence kürzlich eine Finanzierung von fast 400 Millionen RMB in der Angel-Runde und der Angel+-Runde abgeschlossen. Die Angel-Runde wurde gemeinsam von IDG Capital, Xinglian Capital und CrystaTech angeführt, gefolgt von Duxun Capital, Infinite Fund, Chuxin Capital und Yunxiu Capital, und vereinte führende US-Dollar-Fonds, Industriekapital und marktwirtschaftliche Investmentinstitutionen. Die Angel+-Runde wurde gemeinsam von den führenden staatlichen Kapitalgebern aus Peking, Shenzhen und Shanghai – Zhongguancun Science City Fund, Shenzhen Venture Capital und Shanghai Future Industry Fund – angeführt.

Diese Finanzierungsrunde wird schwerpunktmäßig für den Aufbau von Basismodellen und Recheninfrastruktur, die Forschungs- und Entwicklungsinvestitionen in die Technologie der rekursiven Selbstverbesserung sowie die Erweiterung des Kernteams verwendet.

Es handelt sich um ein von Forschern geführtes Startup-Team. Yongchao Chen, Gründer von Apex Intelligence, hat an ausländischen Labors wie Google DeepMind, Microsoft und IBM Forschungen im Zusammenhang mit großen Modellen durchgeführt. Die Kernmitglieder des Teams stammen von führenden Anbietern großer Modelle wie ByteDance, Kimi und Zhipu und verfügen über Erfahrungen in der Forschung und Entwicklung von Modellen in der ersten Linie.

Im Gegensatz zu RSI, das sich auf die Agent-Schicht konzentriert, konzentriert sich Apex nicht auf die Entwicklung von Harness und Anwendungen für KI für die Naturwissenschaft, sondern erforscht die Fähigkeit zur rekursiven Selbstverbesserung auf der Ebene des Grundmodells, sodass die Spuren, die bei jeder Forschungsaufgabe erzeugt werden, zu Trainingsdaten werden, die zur Verbesserung des Modells verwendet werden, und um schwierigere Probleme weiter zu lösen.

Innerhalb von Apex wird diese Logik als „Research is the engine of RSI“ zusammengefasst, d. h. Forschung ist der Motor der rekursiven Selbstverbesserung. Sein endgültiges Ziel ist es, ein rekursives intelligentes System zu verwenden, um die digitale Welt mit der physischen Welt zu verbinden und die einheitlichen Fähigkeiten auf verschiedene Bereiche wie KI, Mathematik, Physik, Chipdesign, Robotik, industrielle Fertigung, Chemie und Biologie auszudehnen.

„Nach der Gleichstellung beim Programmieren wird die nächste Welle die Gleichstellung bei der Forschung sein.“ Nach Ansicht von Yongchao Chen wird die Selbstverbesserung von KI immer mehr zur Realität.

Der erste überzeugende Beweis in seinen Händen stammt aus dem Mai dieses Jahres: Sie ließen das selbstverbessernde KI-System des Unternehmens 34 wissenschaftliche Arbeiten selbstständig erstellen. Das Ergebnis war sehr überraschend: Nachdem diese Arbeiten bei ACL Rolling Review (der einheitlichen Plattform für die Begutachtung von Konferenzen der ACL-Reihe) eingereicht wurden, erhielten 11 Arbeiten eine Bewertung von mehr als 3 Punkten, eine Bewertung in der Erstprüfung, die nicht unter dem Niveau eines Doktoranden liegt. Unter ihnen überstiegen die Bewertungen von 2 Arbeiten die von 99 % der menschlichen Forscher.

„Viele Ideen sind sehr erfrischend, einige Arbeiten erreichen fast das Niveau von Doktoranden. Das war außerhalb unserer Erwartungen, aber es liegt auch in der Natur der Sache, denn dieser Moment wird früher oder später kommen“, sagte Yongchao Chen.

Neben den Arbeiten hat das KI-System von Apex bereits erste Validierungen in mehreren schwierigen Forschungsbereichen abgeschlossen, von der selbstständigen Durchführung von KI-Forschungen durch KI bis hin zu explorativen Experimenten in grundlegenden naturwissenschaftlichen Bereichen wie Mathematik. Derzeit hat das Unternehmen Zehntausende hochwertiger Forschungsspuren (Research Trajectories) angesammelt, einschließlich Expertenspuren, synthetischer Spuren und von KI selbstständig erzeugter Forschungsspuren.

△ Forschung ist der Motor der rekursiven Selbstverbesserung, Quelle: Unternehmen

Wenn man die Evolution der Intelligenz in ein Koordinatensystem einzeichnet, ist sie nach Ansicht von Yongchao Chen nicht glatt ansteigend, sondern folgt einer S-Kurve: Sie durchbricht einen Engpass, steigt schnell an, wird dann flacher und wartet auf den nächsten Engpass. Gegenwärtig befinden wir uns in der Phase der Stabilisierung nach dem Wendepunkt des Scaling Law und warten auf das Auftreten eines neuen Wendepunkts sowie auf den Moment des nächsten schnellen Ausbruchs der Intelligenz.

Yongchao Chen ist überzeugt, dass dieser Wendepunkt bald eintreten wird: „Die Zeit wird nicht auf dich warten. Das ist genauso wie vor zwei Jahren, als man keine großen Modelle entwickelt hat, und vor einem Jahr, als man keine verkörperte Intelligenz entwickelt hat. Jetzt ist der beste Zeitpunkt für die Gründung eines Startups im Bereich RSI.“

Über die Rückkehr nach China zur Gründung eines Unternehmens, die Wahl der RSI-Richtung und seine Überlegungen zur Evolution der Intelligenz sind wir mit ihm in seinem Büro an der Fakultät für Künstliche Intelligenz der Tsinghua-Universität ins Gespräch gekommen. Im Folgenden ist das Protokoll des Gesprächs zwischen „Intelligenz Emergiert“ und Yongchao Chen wiedergegeben, das leicht bearbeitet wurde:

Die Stabilität und die Innovationsfähigkeit von Modellen stehen im Widerspruch zueinander

Intelligenz Emergiert: Warum ist RSI in diesem Jahr plötzlich aufgeblüht?

Yongchao Chen: Viele Leute glauben, dass die Fähigkeiten der Modelle an einen Engpass gestoßen sind und man neue Wege erkunden muss, aber ich denke, das ist der sekundäre Grund. Der wichtigste Grund ist, dass der technische Wendepunkt gekommen ist: Die Modelle sind bereits so leistungsfähig, dass sie viele Forschungen durchführen können, die menschliche Forscher durchführen. Das ist auch genau die Richtung, die wir erforschen: Wir trainieren die nächste Generation von Modellen, sodass sie das Niveau menschlicher Forscher erreichen oder sogar übertreffen.

Intelligenz Emergiert: Erklären Sie in einfachen Worten, was der Unterschied zwischen einem selbstverbessernden Modell und den heutigen großen Modellen ist?

Yongchao Chen: Die heutigen großen Modelle sind Modelle, die auf Stabilität ausgelegt sind, die für die breite Öffentlichkeit bestimmt sind, konservativ sind und keine Fehler machen sollen. Wenn man ihnen zum Beispiel 100 Fragen stellt, können sie 95 davon beantworten. Bei den übrigen Fragen, die sie nicht beantworten können, bemüht man sich, ihre Halluzinationen zu verringern oder sie direkt antworten zu lassen, dass sie es nicht wissen.

Aber selbstverbessernde Modelle sind Modelle, die auf Innovationsfähigkeit Wert legen, und ihre Anforderungen an die Stabilität sind nicht hoch. Wenn man ihnen zum Beispiel eine Frage stellt, die sie nicht beantworten können, erwarten wir, dass sie 100 verschiedene Methoden zur Lösung des Problems vorschlagen. Es macht nichts aus, wenn 99 davon völlig falsch sind, solange eine davon richtig ist. Das heißt, während des Erkundungsprozesses muss man zulassen, dass viele Methoden scheitern. Aber sobald eine davon sich als wirksam erweist, kann das System sie erkennen, behalten und diesen Erfolg in eine Fähigkeit umwandeln, die in Zukunft wiederverwendet werden kann.

Die Innovationsfähigkeit und die Stabilitätsorientierung von Modellen lassen sich oft nicht miteinander vereinen. Wenn ein Modell zu stabil und konservativ ausgerichtet ist, ist seine Innovationsfähigkeit schwach. Manchmal stellen wir sogar fest: Je besser das allgemeine Bewertungsergebnis eines Modells ist, desto schlechter ist seine Innovationsfähigkeit.

Intelligenz Emergiert: Was sind die wichtigsten technischen Engpässe, um die Selbstverbesserung von Modellen zu erreichen?

Yongchao Chen: Erstens die Fähigkeit des Modells, ausgefallene Ideen zu entwickeln; zweitens die Fähigkeit zur selbstständigen Durchführung; drittens die Fähigkeit zur Validierung. Derzeit ist es ein sehr großer Engpass, ob das Modell gute Ideen entwickeln, diese nach der Auswahl guter Ideen selbstständig umsetzen und eine gute Validierung durchführen kann.

Intelligenz Emergiert: Auf welche Weise können diese Engpässe gelöst werden?

Yongchao Chen: Die Trainingsmethoden und die Architektur der Modelle, insbesondere die obere Architektur, müssen angepasst werden, und die Daten unterliegen auch großen Veränderungen. Zum Beispiel kann man einige gegnerische Trainingsmethoden anwenden, sodass ein Modell verschiedene Rollen einnimmt: Es kann nicht nur gute Ideen entwickeln, sondern diese auch selbst bewerten und beurteilen, wie gut diese Idee in Bezug auf Rationalität und Innovationsfähigkeit abschneidet. Durch iterative Selbstverbesserung werden die Ideen immer besser und das Niveau der Kreativität immer höher.

Intelligenz Emergiert: Warum wird zuerst versucht, die Selbstverbesserungsfähigkeit von Modellen im Forschungsszenario umzusetzen?

Yongchao Chen: Der Forschungsszenario hat den dringendsten Bedarf an klugen Köpfen. Die Selbstverbesserung selbst strebt nach der Obergrenze der Intelligenz, d. h. sie zielt darauf ab, menschliche Forscher zu erreichen oder sogar zu übertreffen. Sie richtet sich in der Regel an Szenarien, die die Obergrenze der Intelligenz darstellen und die höchste Innovationsfähigkeit erfordern.

Intelligenz Emergiert: Welche Beziehung besteht zwischen den Begriffen KI für die Naturwissenschaft, KI-Wissenschaftler, automatische Forschung und rekursive Selbstverbesserung? Gibt es Überschneidungen zwischen ihnen?

Yongchao Chen: Meiner Meinung nach beziehen sich RSI, automatische Forschung und KI-Wissenschaftler zwar nicht wörtlich als Synonyme aufeinander, aber im Wesentlichen zielen sie auf dasselbe Ziel ab: die Entwicklung einer allgemeinen Forschungsintelligenz, die selbstständig Forschungen durchführt und ihre Fähigkeiten während des Forschungsprozesses stetig verbessert. „KI-Wissenschaftler“ beschreibt die Rolle, die dieses System einnimmt, „automatische Forschung“ beschreibt den Prozess, in dem es Forschungen selbstständig abschließt, und „RSI“ beschreibt den Mechanismus, mit dem es sich selbst auf der Grundlage von Forschungsergebnissen stetig verbessert.

KI für die Naturwissenschaft befindet sich nicht auf derselben Begriffsebene wie diese Begriffe. „KI für die Naturwissenschaft“ beschreibt, wo KI angewendet wird, nämlich die Nutzung von KI zur Lösung wissenschaftlicher Probleme. Es kann ein Forschungswerkzeug, ein Modell für einen vertikalen Bereich oder auch ein vollständiges System zur selbstständigen Forschung sein, aber es verfügt nicht unbedingt über die Fähigkeit zur selbstständigen Forschung und Selbstverbesserung.

Obwohl die automatische Forschung und der KI-Wissenschaftler früher aufgetaucht sind, haben viele Leute, die in diesen beiden Richtungen arbeiten, diesen Begriff zu eng gefasst. Automatische Forschung bedeutet nicht nur, einen Agenten zu bauen, der wissenschaftliche Arbeiten schreibt, und ein KI-Wissenschaftler bedeutet nicht nur, ein kleines Modell für einen vertikalen Bereich zu trainieren. Das eigentliche Problem, das sie lösen müssen, ist die Entwicklung eines allgemeinen Modells, das menschliche Forscher übertrifft und die KI zu einem Kollegen der menschlichen Forscher macht.

Intelligenz Emergiert: Wie hoch ist die vorhersehbare Obergrenze von RSI? Welches Niveau kann es erreichen?

Yongchao Chen: Das hängt davon ab, auf welches Niveau menschlicher Forscher es sich letztendlich einstellen kann. Es ist schwer zu sagen, ob es schließlich das Niveau von Doktoranden an Spitzenuniversitäten wie der Tsinghua-Universität erreichen wird, oder das Niveau von Newton und Einstein.

Intelligenz Emergiert: Wann kann ein explosionsartiges Wachstum der Intelligenz auftreten?

Yongchao Chen: Ich denke, es wird einen Wendepunkt geben, der eintreten kann, wenn die Effizienz des Modells in einigen Gliedern höher ist als die des Menschen, oder wenn seine Innovationsfähigkeit der des Menschen nahekommt. Es schreitet in Engpässen und Phasen voran. Sobald ein Engpass in einer Phase durchbrochen ist, steigt es entlang einer S-Kurve an: Zuerst entwickelt es sich schnell, dann wird es allmählich flacher, und dann wartet man auf den nächsten Engpass, der durchbrochen werden kann.

Intelligenz Emergiert: In welcher Phase befindet sich die Intelligenz derzeit?

Yongchao Chen: Die erste S-Kurve ist das Scaling Law, und wir befinden uns jetzt in der Phase, in der die erste S-Kurve nahezu gesättigt ist. Bei der Iteration der Modelle in der aktuellen Phase verbessern sich ihre Fähigkeiten nicht mehr so schnell, sie haben den oberen Teil der S-Kurve erreicht. RSI könnte die nächste S-Kurve sein, oder es könnte die Methodik sein