Ein 27-jähriger Assistenzprofessor der Tsinghua-Universität hat ein Startup gegründet, das die autonome Evolution von KI erforscht, und innerhalb von zwei Monaten eine Finanzierung von mehreren hundert Millionen erhalten.
In diesem Jahr ist die Verbesserung von KI durch KI fast zu einem Konsens der führenden Labore im In- und Ausland geworden.
In den vergangenen fast einem Jahr haben sich Gründungsmitglied von OpenAI Andrej Karpathy, der ehemalige Forschungsdirektor von Meta FAIR Tian Yuandong und der ehemalige Chefwissenschaftler von DeepMind Jeff Dean nacheinander dem Hype um Startups im Bereich RSI (Recursive Self-Improvement, rekursive Selbstevolution) angeschlossen.
Was bei RSI passiert, ist fast eine Geschichte, die dem Weltmodell sehr ähnelt – selbst die fortschrittlichsten Labore haben keine bahnbrechenden Ergebnisse zur rekursiven Selbstevolution erzielt, und die technische Unsicherheit wurde schnell von großen Narrativen und dem heißen Kapitalmarkt überdeckt. Tian Yuandong ist ein typisches Beispiel: Im Mai dieses Jahres hat sein Startup Recursive Superintelligence, ohne dass es bereits Ergebnisse vorgelegt hat, offiziell bekanntgegeben, eine Finanzierung von 650 Millionen US-Dollar abgeschlossen zu haben, und seine Bewertung stieg auf 4,65 Milliarden US-Dollar.
Dieser Hype hat sich auch auf das Inland ausgeweitet. Im Januar dieses Jahres stand Chen Yongchao, der an dem gemeinsamen Ausbildungsprogramm von Harvard und MIT studiert und kurz vor seinem Doktorabschluss steht, an der Kreuzung seiner Berufswahl: Auf der einen Seite lag ein Stellenangebot von DeepMind sowie Einladungen zur Mitbegründung von mehreren ausländischen Startups, die sich auf die automatische wissenschaftliche Forschung mit KI spezialisiert haben; auf der anderen Seite kam der richtige Zeitpunkt für die Gründung eines eigenen Unternehmens, auf den er zwei Jahre gewartet hatte, genau in diesem Moment.
Was er anstrebt, ist die Ausbildung eines allgemeinen Modells mit Selbstverbesserungsfähigkeit, das auf einem selbstverbessernden Harness unabhängig die Forschungen durchführen kann, die menschliche Wissenschaftler durchführen, einschließlich der Entwicklung von Ideen, der Literaturrecherche und der Durchführung von Experimenten.
Nach einer Reihe von Überlegungen wählte er die zweite Option, kehrte nach China zurück und gründete Apex Intelligence, das sich auf die Forschung und Entwicklung von grundlegenden Modellen mit autonomer Evolutionsfähigkeit konzentriert, und trat gleichzeitig als Mitarbeiter an die Tsinghua-Universität ein.
Der 27-jährige Chen Yongchao wurde der jüngste Assistenzprofessor in der Geschichte der Fakultät für Künstliche Intelligenz der Tsinghua-Universität. Apex Intelligence, dessen Gründung er im Juli offiziell bekanntgab, hat in nur zwei Monaten zwei Finanzierungsrunden im Wert von mehreren hundert Millionen Yuan abgeschlossen.
Laut Informationen aus *Intelligentes Emergieren* hat Apex Intelligence kürzlich eine Finanzierung in Höhe von fast 400 Millionen RMB aus der Angel-Runde und der Angel+-Runde abgeschlossen. Die Angel-Runde wurde gemeinsam von IDG Capital, Starlink Capital und Jingtai Technology angeführt, gefolgt von Deshun Capital, Infinity Fund, Early Capital und Yunxiu Capital, die führende US-Dollar-Fonds, Industriekapital und marktorientierte Investmentinstitutionen zusammenbringt. Die Angel+-Runde wurde gemeinsam von den führenden staatlichen Kapitalgebern aus Peking, Shenzhen und Shanghai – Zhongguancun Science City Fund, Shenzhen Venture Capital und Shanghai Future Industry Fund – angeführt.
Diese Finanzierungsrunde wird hauptsächlich für den Aufbau von Grundmodellen und Rechenleistungsinfrastruktur, die Forschungs- und Entwicklungsinvestitionen in die Technologie der rekursiven Selbstevolution sowie die Erweiterung des Kernteams verwendet.
Es handelt sich um ein von Forschern geführtes Startup-Team. Chen Yongchao, Gründer von Apex Intelligence, hat in ausländischen Labors wie Google DeepMind, Microsoft und IBM Forschungen zu großen Modellen durchgeführt. Die Kernmitglieder des Teams stammen von führenden Herstellern großer Modelle wie ByteDance, Kimi und Zhipu AI und verfügen über praktische Erfahrungen in der Entwicklung von Modellen an vorderster Front.
Im Gegensatz zu RSI, die sich auf die Agent-Ebene konzentriert, konzentriert sich Apex nicht auf die Entwicklung von Harness und Anwendungen für KI für die Wissenschaft, sondern erforscht die Fähigkeit zur rekursiven Selbstevolution auf der Grundmodellebene, sodass die Spuren, die bei jeder Forschungsaufgabe erzeugt werden, zu Trainingsdaten werden, um das Modell zu verbessern und schwierigere Probleme weiter zu lösen.
Innerhalb von Apex wird diese Logik als „Research is the engine of RSI“ zusammengefasst, d. h. Forschung ist der Motor der rekursiven Selbstverbesserung. Sein endgültiges Ziel ist es, ein rekursives intelligentes System zu nutzen, um die digitale Welt mit der physischen Welt zu verbinden und die einheitlichen Fähigkeiten auf verschiedene Bereiche wie KI, Mathematik, Physik, Chipdesign, Robotik, industrielle Fertigung, Chemie und Biologie auszudehnen.
„Nach der Gleichberechtigung beim Codieren wird die nächste Welle die Gleichberechtigung bei der Forschung sein.“ Nach Ansicht von Chen Yongchao wird die Selbstevolution von KI zunehmend Realität.
Der erste überzeugende Beweis in seinen Händen stammt aus dem Mai dieses Jahres: Sie ließen das selbstentwickelte selbstevolutionäre KI-System des Unternehmens 34 wissenschaftliche Arbeiten unabhängig erstellen. Das Ergebnis war sehr überraschend: Nachdem diese Arbeiten bei ACL Rolling Review (der einheitlichen Begutachtungsplattform für Konferenzen der ACL-Reihe) eingereicht wurden, erhielten 11 Arbeiten eine Bewertung von mehr als 3 Punkten, eine Bewertung in der Erstprüfung, die dem Niveau eines Doktoranden nicht nachsteht. Darunter überstiegen die Bewertungen von 2 Arbeiten die von 99 % der menschlichen Forscher.
„Viele Ideen sind sehr überraschend, einige Arbeiten erreichen fast das Niveau von Doktoranden. Das war außerhalb unserer Erwartungen, aber es liegt auch in der Natur der Sache, weil dieser Moment früher oder später kommen wird“, sagte Chen Yongchao.
Neben den Arbeiten hat das KI-System von Apex von der unabhängigen KI-gesteuerten Forschung im KI-Bereich bis hin zu explorativen Experimenten in grundlegenden naturwissenschaftlichen Bereichen wie der Mathematik erste Validierungen in mehreren hochschwierigen Forschungsbereichen abgeschlossen. Derzeit hat das Unternehmen Zehntausende qualitativ hochwertiger Forschungsspuren (Research Trajectories) angesammelt, die Expertenspuren, synthetische Spuren und von KI unabhängig erzeugte Forschungsspuren umfassen.
Forschung ist der Motor der rekursiven Selbstverbesserung, Quelle: Unternehmen
Wenn man die Evolution der Intelligenz auf einer Koordinatenachse darstellen will, ist Chen Yongchao der Ansicht, dass sie nicht glatt ansteigt, sondern einer S-Kurve folgt: einen Engpass durchbrechen, schnell ansteigen, sich dann abflachen und auf den nächsten Engpass warten. Gegenwärtig befinden wir uns in der Phase der Stabilisierung nach dem letzten Wendepunkt des Scaling Law und warten auf das Auftreten eines neuen Wendepunkts sowie auf den Moment des nächsten schnellen Ausbruchs der Intelligenz.
Chen Yongchao ist fest davon überzeugt, dass dieser Wendepunkt bald eintreten wird: „Die Zeit wird nicht auf dich warten. Das ist genauso wie die Situation vor zwei Jahren, als man keine großen Modelle entwickelt hat, und vor einem Jahr, als man keine verkörperte Intelligenz entwickelt hat – RSI ist jetzt der beste Zeitpunkt für die Gründung eines Startups.“
Über die Rückkehr nach China zur Gründung eines Unternehmens, die Wahl der RSI-Richtung und seine Überlegungen zur Evolution der Intelligenz sind wir mit einer Reihe von Fragen in das Büro der Fakultät für Künstliche Intelligenz der Tsinghua-Universität gekommen und haben mit ihm gesprochen. Im Folgenden ist das transkribierte Gespräch mit Chen Yongchao wiedergegeben, das leicht redigiert wurde:
Stabilität und Innovationsfähigkeit des Modells stehen im Widerspruch zueinander
Warum ist RSI dieses Jahr plötzlich aufgeblüht?
Chen Yongchao: Viele Leute glauben, dass die Fähigkeiten der Modelle einen Engpass erreicht haben und neue Pfade erforscht werden müssen. Ich denke, das ist ein sekundärer Grund. Der wichtigste Grund ist, dass der technische Wendepunkt gekommen ist: Die Modelle sind so stark geworden, dass sie viele Forschungen durchführen können, die menschliche Forscher durchführen. Das ist auch genau die Richtung, die wir erforschen: Wir trainieren das nächste Modell, sodass es das Niveau menschlicher Forscher erreichen oder sogar übertreffen kann.
Erklären Sie in einfachen Worten: Was ist der Unterschied zwischen einem selbstevolutionären Modell und den heutigen großen Modellen?
Chen Yongchao: Die heutigen großen Modelle sind Modelle, die auf Stabilität ausgelegt sind, für die breite Öffentlichkeit gedacht sind, konservativ sind und keine Fehler machen sollen. Wenn man ihnen 100 Fragen stellt, können sie 95 davon beantworten. Bei den verbleibenden Fragen, die sie nicht beantworten können, bemüht man sich, Halluzinationen zu reduzieren oder sie direkt antworten zu lassen, dass sie es nicht wissen.
Aber selbstevolutionäre Modelle sind Modelle, die auf Innovationsfähigkeit Wert legen, und ihre Anforderungen an die Stabilität sind nicht hoch. Wenn man ihnen zum Beispiel eine Frage stellt, die sie nicht beantworten können, erwarten wir, dass sie 100 verschiedene Methoden vorschlagen, um dieses Problem zu lösen. Es macht nichts aus, wenn 99 davon völlig falsch sind – solange eine davon richtig ist. Das heißt, während des Explorationsprozesses muss erlaubt werden, dass viele Methoden scheitern. Aber solange sich eine davon als wirksam erweist, kann das System sie erkennen, behalten und diesen Erfolg in eine Fähigkeit umwandeln, die in Zukunft wiederverwendet werden kann.
In vielen Fällen lassen sich Innovationsfähigkeit und Stabilität des Modells nicht gleichzeitig erreichen. Wenn das Modell zu stabil und konservativ ausgerichtet ist, ist seine Innovationsfähigkeit schwach. Manchmal stellen wir sogar fest, dass je besser das allgemeine Bewertungsergebnis des Modells ist, desto schlechter ist seine Innovationsfähigkeit.
Um die Selbstevolution des Modells zu realisieren: Wo liegen die wichtigsten technischen Engpässe?
Chen Yongchao: Erstens die Fähigkeit des Modells, phantasievolle Ideen zu entwickeln; zweitens die Fähigkeit zur autonomen Durchführung; drittens die Fähigkeit zur Validierung. Derzeit ist es ein sehr großer Engpass, ob das Modell gute Ideen entwickeln, diese nach der Auswahl guter Ideen autonom umsetzen und eine gute Validierung durchführen kann.
Wie können diese Engpässe gelöst werden?
Chen Yongchao: Die Trainingsmethoden und die Architektur des Modells, insbesondere die obere Architektur, müssen angepasst werden, und die Daten unterliegen ebenfalls großen Veränderungen. Zum Beispiel durch einige gegnerische Trainingsmethoden, sodass ein Modell verschiedene Rollen einnimmt: Es kann nicht nur gute Ideen entwickeln, sondern diese auch selbst bewerten und beurteilen, wie gut diese Idee in Bezug auf Rationalität und Innovationsfähigkeit ist. Durch iterative Methoden der Selbstverbesserung werden die Ideen immer besser und das Niveau der Kreativität steigt stetig an.
Warum versucht man zuerst, die Selbstevolution des Modells im Forschungsszenario zu implementieren?
Chen Yongchao: Der Bedarf an klugen Köpfen ist im Forschungsszenario am dringendsten. Die Selbstevolution zielt an sich auf die Obergrenze der Intelligenz ab, d. h. sie soll menschliche Forscher erreichen oder sogar übertreffen. Sie richtet sich in der Regel auf Szenarien, die an der Obergrenze der Intelligenz liegen und die größte Innovationsfähigkeit erfordern.
Welche Beziehung besteht zwischen den Begriffen KI für die Wissenschaft, KI-Wissenschaftler, automatische Forschung und rekursive Selbstverbesserung? Gibt es Überschneidungen?
Chen Yongchao: Meiner Ansicht nach sind RSI, automatische Forschung und KI-Wissenschaftler zwar keine wörtlichen Synonyme, aber im Wesentlichen zielen sie auf dasselbe Ziel ab: die Entwicklung einer allgemeinen Forschungsintelligenz, die unabhängig Forschungen durchführen und ihre Fähigkeiten während des Forschungsprozesses stetig verbessern kann. „KI-Wissenschaftler“ beschreibt die Rolle, die dieses System einnimmt, „automatische Forschung“ beschreibt den Prozess, in dem es Forschungen unabhängig abschließt, und „RSI“ beschreibt den Mechanismus, mit dem es sich basierend auf den Forschungsergebnissen stetig verbessert.
KI für die Wissenschaft befindet sich nicht auf derselben konzeptionellen Ebene wie diese Begriffe. „KI für die Wissenschaft“ beschreibt, wo KI angewendet wird – also die Nutzung von KI zur Lösung wissenschaftlicher Probleme. Es kann ein Forschungswerkzeug, ein Modell für einen vertikalen Bereich oder auch ein vollständiges autonomes Forschungssystem sein, aber es verfügt nicht unbedingt über die Fähigkeit zur autonomen Forschung und Selbstverbesserung.
Obwohl automatische Forschung und KI-Wissenschaftler früher aufgetaucht sind, haben viele Leute, die an diesen beiden Richtungen arbeiten, das Konzept zu eng gefasst. Automatische Forschung bedeutet nicht nur, einen Agenten zu bauen, der wissenschaftliche Arbeiten schreibt. KI-Wissenschaftler bedeutet auch nicht nur, ein kleines Modell für einen vertikalen Bereich zu trainieren. Das eigentliche Problem, das sie lösen müssen, ist die Entwicklung eines allgemeinen Modells, das menschliche Forscher übertrifft und KI zu einem Mitarbeiter menschlicher Wissenschaftler macht.
Wie hoch ist die vorhersehbare Obergrenze von RSI? Welches Niveau kann es erreichen?
Chen Yongchao: Das hängt davon ab, auf welches Niveau menschlicher Forscher es letztendlich kommen kann. Es ist schwer zu sagen, ob es letztendlich das Niveau von Doktoranden an Spitzenuniversitäten wie der Tsinghua-Universität oder das Niveau von Newton und Einstein erreichen wird.
Wann wird ein explosionsartiges Wachstum der Intelligenz eintreten?
Chen Yongchao: Ich denke, es wird einen Wendepunkt geben, der eintreten kann, wenn die Effizienz des Modells in einigen Gliedern höher ist als die des Menschen oder seine Innovationsfähigkeit der des Menschen nahekommt. Es schreitet nach Engpässen und Phasen voran: Sobald ein Engpass in einer bestimmten Phase durchbrochen wird, steigt es entlang einer S-Kurve an, entwickelt sich zuerst schnell und flacht dann allmählich ab – dann wartet man auf den nächsten Engpass, der durchbrochen werden kann.
In welcher Phase befindet sich die Intelligenz derzeit?
Chen Yongchao: Die erste S-Kurve ist das Scaling Law. Derzeit befinden wir uns in einer Phase, in der sich die erste S-Kurve der Sättigung nähert. Bei der Iteration der Modelle in der heutigen Zeit verbessern sich ihre Fähigkeiten nicht mehr so schnell – sie haben das obere Ende der S-Kurve erreicht. RSI könnte die nächste S-Kurve sein, oder auch eine Methodik, die hilft, die Engpässe vieler S-Kurven zu durchbrechen.
