Gerade nachdem er Kimi verlassen hat, ging der 17-jährige Chen Guangyu zu Jeff Deans neuem Unternehmen.

Nach Informationen von Synced ist der 17-jährige KI-Forscher Chen Guangyu dem Team von Discovery Loop beigetreten, das von Jeff Dean und anderen gegründet wurde.

Am 15. Oktober kündigte Chen Guangyu auf X an, dass er Moonshot AI verlässt, und erklärte, das vergangene Jahr sei die bisher schönste Zeit gewesen. Er dankte seinen ehemaligen Kollegen, insbesondere Du Yulun, der ihn damals eingestellt hatte, als er noch 16 Jahre alt war.

Für seine nächste Station hinterließ er nur einen Satz: „Es gibt noch viel mehr zu entdecken.“

Nach der Veröffentlichung der Nachricht über seinen Austritt interagierte Sholto Douglas, Leiter des Bereichs für skalierbares Verstärkungslernen bei Anthropic, mit ihm.

Douglas erklärte, die beiden hätten sich erst in der Vorwoche getroffen, fragte ihn, ob er immer noch plane, an die Carnegie Mellon University zu gehen, und lud ihn ein, gemeinsam in San Francisco zu arbeiten.

Chen Guangyu antwortete: „Danke, Sholto! Ich bin gerade dabei, in die Bay Area zu ziehen.“

Diese Interaktion führte zu Spekulationen in der Öffentlichkeit, dass er zu Anthropic wechseln würde, aber Chen Guangyu dementierte diese Aussage anschließend mit einem „nein :)“.

Im Alter von 16 Jahren zu Kimi gestoßen, an der Entwicklung von Modellen mit Billionen von Parametern beteiligt

Als Chen Guangyu zu Moonshot AI kam, war er noch ein Schüler der letzten Jahrgangsstufe der Oberschule.

Während seiner Zeit bei Kimi war er an mehreren Kerntechnikentwicklungen beteiligt, darunter die Optimierung des Rechenkerns von Kimi Delta Attention (KDA), die Erforschung von Attention Residuals und die Erkundung von Optimierern für das Training großer Modelle.

Im März dieses Jahres veröffentlichte Chen Guangyu gemeinsam mit Zhang Yu und Su Jianlin als Erstautor das Papier mit dem Titel „Attention Residuals“.

Link zum Papier: https://arxiv.org/pdf/2603.15031

Diese Studie verbessert den Restglied-Verbindungsmechanismus von Transformern, sodass das Modell selektiv Informationen aus verschiedenen vorherigen Schichten nutzen und die Informationsübertragung in tiefen Netzwerken verbessern kann.

Nach der Veröffentlichung des Papiers hat Elon Musk es weiterverbreitet und mit „beeindruckend“ bewertet.

Im Juli veröffentlichte Moonshot AI Kimi K3 mit insgesamt 2,8 Billionen Parametern. Attention Residuals wurde zu einer der Kernarchitekturtechnologien, und Chen Guangyu war auch an der Erstellung von Anwendungsfällen vor der Modellveröffentlichung beteiligt.

In seinem persönlichen Forschungsbereich konzentriert sich Chen Guangyu auf Modellarchitekturen, Optimierer sowie effiziente Algorithmen und Rechenkerne, die an die Hardwareeigenschaften angepasst sind.

Bevor er zu Kimi kam, arbeitete er bereits bei Tilde Research an der Forschung zur Interpretierbarkeit anwendungsorientierter Modelle.

Darüber hinaus listet er auf seiner persönlichen Website einige seiner Überzeugungen auf:

• Eigeninitiative ist eine Superkraft.
• Geschmack kann entwickelt werden.
• Schreibe deine Ideen auf.
• Gemeinsam mit Freunden lässt sich für jedes Problem eine Lösung finden.
• Man kann die Welt auf positive und nützliche Weise erkunden und verändern.
• Gerate nicht in ein lokales Optimum.

Interessanterweise schrieb er in der Rubrik „Dinge, die ich mag“: „Von meinem Lehrer Gemini lernen (mittlerweile wirkt dieser Satz etwas unpassend)“.

Nächste Station: Discovery Loop mit einer Bewertung von 50 Milliarden US-Dollar

Discovery Loop wurde im August dieses Jahres von vier ehemaligen Kernforschern von Google gegründet: Jeff Dean, Sanjay Ghemawat, Quoc Le und Oriol Vinyals.

Dabei war Jeff Dean einst Chefwissenschaftler von Google und beteiligte sich an der Leitung der Entwicklung von Gemini. Oriol Vinyals ist ebenfalls ein wichtiger technischer Leiter des Gemini-Projekts.

Das Forschungsziel des neuen Unternehmens besteht darin, KI zu nutzen, um den Entdeckungsprozess in den Bereichen maschinelles Lernen, Wissenschaft und Ingenieurwesen zu beschleunigen.

Konkret möchte Discovery Loop, dass KI automatisch Hypothesen aufstellt, Experimente entwirft und durchführt, Ergebnisse analysiert und auf Basis des Feedbacks die nächste Forschungsrunde durchführt, sodass ein kontinuierlich iterierendes automatisiertes Experimentiersystem entsteht.

Das Unternehmen plant, zuerst die Automatisierung der Forschung im Bereich des maschinellen Lernens voranzutreiben und anschließend auf andere Wissenschafts- und Ingenieurbereiche auszuweiten.

Laut einem Bericht von Business Insider vom 11. September sucht Discovery Loop gerade nach einer neuen Finanzierungsrunde mit einer angestrebten Unternehmensbewertung von etwa 50 Milliarden US-Dollar.

Chen Guangyu, der gerade erst aus dem vordersten Bereich des Trainings großer Modelle ausgetreten ist, wird die Möglichkeit haben, mit den ehemaligen Kernentwicklern von Gemini zusammenzuarbeiten und die Automatisierung der KI-Forschung weiter zu erforschen.

Referenzlinks:

https://x.com/ArfurGrok/status/2112332568616120406

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Synced“ (ID: almosthuman2014), Autor: Niu Lai, von 36Kr mit Genehmigung veröffentlicht.