Sun Peng, ehemaliger Kern-Mitarbeiter im KI-Forschungs- und Entwicklungsbereich bei ByteDance und Tencent, ist zu Stardust Intelligence gestoßen und verantwortet das Post-Training für das Roboter-Verstärkungslernen | Frontline

Autor | Huang Nan

Redakteur | Yuan Silai

Laut Informationen von 36kr hat Dr. Sun Peng, ehemaliger Experte für Reinforcement Learning bei ByteDance und ehemaliger Leiter des Agent-Zentrums von Tencent Robotics X, am 2. September offiziell zu Stardust Intelligence gewechselt. Er wird sich hauptsächlich der technischen Forschung und Entwicklung sowie der Anwendungserkundung im Bereich des Reinforcement Learning für Roboter widmen.

Dr. Sun Peng absolvierte sein Studium an der Tsinghua-Universität und arbeitete anschließend als Postdoktorand an der Cornell University und der Rutgers University. Er konzentriert sich seit langem auf die Forschung zu Reinforcement Learning (RL), Agenten und Multi-Agent-Reinforcement Learning (MARL). Er verfügt über Forschungs- und industrielle Praxiserfahrungen, die sich über das Reinforcement Learning für Roboter, großskalige verteilte RL-Systeme und das Reinforcement Learning für große Modelle erstrecken, und besitzt sowohl technische Kenntnisse in der Algorithmenforschung als auch im Systemingenieurwesen.

Während seiner früheren Tätigkeit bei Tencent AI Lab und dem Robotics X Roboterlabor war Sun Peng Leiter des Agent-Zentrums und forschte an Deep Reinforcement Learning und Robotersteuerung. Er hat Radroboter mit Deep Reinforcement Learning und adversariellem Spiel trainiert, um ein end-to-end aktives Zielverfolgen zu realisieren; gleichzeitig entwickelte er die „StarCraft“-KI-Agenten TStarBots und TStarBotX und erzielte wichtige Ergebnisse in der Forschung zu komplexen Spielumgebungen des Multi-Agent-Reinforcement Learning (MARL).

Nach seinem Wechsel zu ByteDance erweiterte Sun Peng seine technische Praxis vollständig von Algorithmen auf das großskalige RL-Systemingenieurwesen. Er leitete die Entwicklung der zentralen Infrastruktur für Reinforcement Learning ByteRL, die das effiziente Training mehrerer selbst entwickelter Spiel-KIs unterstützt. Sein Team gewann 2023 die Meisterschaft des strategischen Karten-KI-Wettbewerbs der IEEE CoG, und die entwickelte „Hearthstone“-KI verfügt über ein Wettbewerbsniveau, das branchenführende Spieler besiegen kann.

Mit der schnellen Iteration der Technologie großer Sprachmodelle erweiterte Sun Peng seine langjährige angesammelte Expertise im Bereich Reinforcement Learning erfolgreich auf das Gebiet des Post-Trainings großer Modelle. Während seiner Tätigkeit bei Byte AI Lab/ByteResearch leitete er als Projektleiter die Entwicklung und Implementierung der verstärkten Feinabstimmungsmethode ReFT und des mathematischen Schlussfolgerungsagenten DeltaProver; im Seed-Team beteiligte er sich tief an der Vorverarbeitung von Modellen und der RLHF-Ausrichtung und sammelte solide technische Kenntnisse sowie Praxiserfahrungen in zukunftsweisenden Bereichen wie Modellausrichtung, Verbesserung der Schlussfolgerungsfähigkeit und Entwicklung von Agenten.

Dr. Sun Peng (Bildquelle: Unternehmen)

Von der Robotersteuerung über das großskalige RL-Systemingenieurwesen bis hin zum Post-Training großer Modelle konzentrierte sich Sun Pengs technische Expertise in den letzten mehr als zehn Jahren stets auf ein Kernproblem: Wie können Agenten durch Interaktion mit der Umwelt und Feedback kontinuierlich lernen und ihre eigenen Strategien ständig optimieren.

Heutzutage dringt die KI-Fähigkeit aus der digitalen Welt weiter in die reale physische Welt vor, und die Logik des Reinforcement Learning „Interaktion – Feedback – Iteration“ findet auch einen neuen Anwendungsbereich im Bereich der verkörperten Intelligenz. In der Vergangenheit hat die Branche darum gewetteifert, ob Roboter „Aufgaben ausführen können“, wobei die Modellfähigkeit anhand von Simulationslisten überprüft wurde. Wenn Roboter jedoch das Labor verlassen und in den realen Einsatz gelangen, wechselt das Bewertungskriterium von „kann er es tun“ zu „kann er es stabil und wiederholt gut machen“. Die langwierigen Störungen in der realen Umgebung, die Robustheit bei langfristigen autonomen Entscheidungen und die Fähigkeit zur Wiederherstellung nach Fehlern und Ausfällen sind der Schlüssel, der den kommerziellen Wert bestimmt.

Ein wiederholt bestätigtes Verständnis wird zum Konsens: Imitationslernen löst das Problem „wie man es macht“, während Reinforcement Learning das Problem löst „wie man es korrigiert, wenn man es falsch macht“. Wenn die Erfolgsrate von Aufgaben 60 % erreicht, nimmt der marginale Nutzen der weiteren Optimierung der Aktionswiedergabe drastisch ab. Der eigentliche Engpass liegt in der Anpassungsfähigkeit und der Fähigkeit zur Fehlerkorrektur in offenen Umgebungen. Das Post-Training durch Reinforcement Learning wird genau an diesem Punkt zu einem unvermeidlichen Kernschritt der verkörperten Intelligenz.

Dies ist genau die Schlüsselfrage, die Stardust Intelligence bei der Förderung des Aufbaus eines Full-Stack-Technologiesystems lösen muss. Seit seiner Gründung verfolgt Stardust Intelligence das Konzept „Design for AI“ und ist der Ansicht, dass der Roboter-Körper, die Daten und die KI-Modelle nicht getrennt entworfen werden sollten. Diese Idee hat sich allmählich zu einem vollständigen technischen Kreislauf entwickelt: Das Basismodell, der Front-End-Agent und das Post-Training durch Reinforcement Learning arbeiten zusammen.

Die Lumo-Serie der Basismodelle ist für das Verständnis, die Vorhersage und die Generierung der Umgebung und Aktionen durch Roboter verantwortlich. Lumo-1 lässt Roboter die Absichtslogik hinter Aktionen verstehen, nicht nur „wie man es macht“, sondern vor allem „warum man es so macht“; Lumo-2, das erste implizite Weltaktionsmodell für den Haushalt, führt Latent World Dynamics ein, um zukünftige Zustände zuerst im latenten Raum zu ableiten und dann Aktionen zu generieren, was bedeutet, dass der Roboter „zuerst denkt, dann handelt“. Der Front-End-Agent Philia übernimmt benutzerorientierte intelligente Fähigkeiten wie Langzeitgedächtnis, Aufgabenverwaltung, Zusammenarbeit mehrerer Roboter und natürliche Interaktion.

Und das Reinforcement Learning ist genau das Schlüsselelement in diesem System, das die „Modellfähigkeit“ mit dem „realen Einsatz“ verbindet. Es löst das Problem, wie Roboter in der realen Umgebung durch kontinuierliche Interaktion und Aufgabenfeedback ständig lernen und ihre eigenen Aktionsstrategien optimieren können.

Auf Basis des Full-Stack-Technologiesystems „KI-Modell + verkörpertes OS + seilgetriebener Körper“ wird Sun Peng nach seinem Wechsel zu Stardust Intelligence die Ausrichtung von Stardust Intelligence im Bereich des Reinforcement Learning für Roboter weiter stärken und mit dem KI-Modell, dem verkörperten OS und dem seilgetriebenen Roboter-Körper zusammenwirken, um zu realisieren, dass Roboter in der realen Welt kontinuierlich lernen und sich ständig weiterentwickeln. Darüber hinaus wird das Unternehmen das Team für Reinforcement Learning von Robotern weiter erweitern, um die Verbesserung der relevanten technischen Fähigkeiten und den Anwendungseinsatz voranzutreiben.

Zu seinem Wechsel zu Stardust Intelligence sagte Sun Peng: „In den letzten mehr als zehn Jahren habe ich mich ständig mit Reinforcement Learning und Agenten befasst und miterlebt, wie sich das Reinforcement Learning von der Robotersteuerung und komplexen Spielen zum Post-Training großer Modelle entwickelt hat. Diese Logik wurde in der digitalen Welt bestätigt, und jetzt möchte ich diese angesammelten Erfahrungen in die physische Welt zurückbringen. Stardust Intelligence verfügt bereits über eine vollständige technische Grundlage vom Roboter-Körper über das verkörperte OS bis hin zum KI-Modell. Als Nächstes werden wir gemeinsam das Reinforcement Learning wirklich in das Training und den Einsatz realer Roboter integrieren, damit Roboter nicht nur „eine Aufgabe lernen“, sondern in jeder realen Ausführung und jedem Feedback die Aufgabe immer besser erledigen können.“