36Kr Exklusivmitteilung | Das Team der ShanghaiTech University entwickelt die Infrastruktur für das Embodied World Model und schließt eine Seed-Finanzierungsrunde in Höhe von mehreren zehn Millionen US-Dollar ab.
Autor | Qiao Yujie
Redakteur | Yuan Silai
Dieser Artikel umfasst etwa 3200 Wörter, eine Lesezeit von 7 Minuten wird empfohlen
Laut Informationen von Hard Krypton hat das Embodied-Intelligence-Infrastrukturunternehmen «InstAdapt» vor kurzem eine Seed-Finanzierung in Höhe von mehreren zehn Millionen US-Dollar abgeschlossen, die gemeinsam von Institutionen wie Xiechuang Wisdom, Yunhui Capital, Pudong Venture Capital und Wuyue Angel investiert wurde, während Xinpai Capital als Finanzberater fungierte. Die Mittel dieser Runde werden hauptsächlich für den Aufbau der physischen KI-Dateninfrastruktur, die Forschung und Entwicklung des Embodied World Model sowie die Erweiterung des Kernteams verwendet.
InstAdapt wurde von einem Team der ShanghaiTech University ausgebrütet und positioniert sich als Infrastruktur für Embodied-World-Modelle im Zeitalter der Physical AI. Das Unternehmen möchte einen langjährigen zentralen Engpass der Embodied-Intelligence-Branche lösen: Wenn Roboter mit neuen Umgebungen, neuen Aufgaben oder sogar neuen eigenen Körpern konfrontiert sind, wie können sie nicht mehr von Grund auf Daten sammeln und trainieren, sondern schnell die erforderlichen Erfahrungen erwerben und während des Einsatzes kontinuierlich lernen?
Der Gründer des Unternehmens, Dr. Shi Ye, ist derzeit Assistenzprofessor und Doktorvater an der Fakultät für Informationswissenschaft und -technik der ShanghaiTech University sowie Leiter des YesAI Lab für vertrauenswürdige und allgemeine Intelligenz und forscht langfristig zu Diffusionsmodellen, generativem verstärkendem Lernen und Embodied Intelligence.
Nach dem raschen Wachstum der eigenen Roboter-Körper fehlt den Robotern nicht nur ein weiteres VLA oder WAM, sondern ein System, das kontinuierlich Erfahrungen erzeugen kann und eine schnelle Anpassung sowie fortlaufende Verbesserung unterstützt. Die weitere Entwicklung geht in die Richtung: Wer kann eine neue reale Aufgabe schneller in eine Welt und Erfahrungen umwandeln, die Roboter lernen können. Ein einzelnes Modell bestimmt nur die unmittelbare Aktion, während das Erfahrungssystem begrenzte reale Daten in nutzbare Trainingserfahrungen umwandeln kann und Roboter die Übertragung zwischen verschiedenen Aufgaben, Szenarien und eigenen Körpern sowie das kontinuierliche Lernen nach dem Einsatz ermöglicht.
Die kürzliche Übernahme des Robotersimulationsunternehmens SceniX durch World Labs spiegelt auch den zukünftigen Trend der Integration von Weltmodellen und Robotersimulation wider. „SceniX erweitert sich eher von der Simulation zum Weltmodell, während World Labs sich vom Weltmodell zur Robotersimulation erstreckt. Seit seiner Gründung möchte InstAdapt am Schnittpunkt dieser beiden Richtungen stehen, um die zugrundeliegende Infrastruktur für Weltmodelle aufzubauen“, erklärte Shi Ye.
Um die Umsetzung der Physical AI und die Forschung und Entwicklung von Roboter-Weltmodellen voranzutreiben, hat InstAdapt eine vierstufige physische KI-Infrastruktur aufgebaut.
Die erste Ebene ist die Erfassung und Verwaltung von Roboterdaten. Im Vergleich zur gewöhnlichen Datenerfassung aus der ersten Perspektive konzentriert sich InstAdapt stärker auf die echten dreidimensionalen Interaktionsbeziehungen zwischen Roboter und Umgebung, insbesondere die räumlichen Beziehungen, Objektzustände und Kontaktänderungen während des Handhabungsprozesses. Durch menschliche Videos aus erster Perspektive, Roboter-Interaktionsdaten, 3D-Rekonstruktion und Modellierung der Hand-Objekt-Beziehung wandelt das Unternehmen Objekte, Räume, Aktionen und Kontaktbeziehungen in realen Umgebungen schnell in Robot-ready-Daten um, die für Roboter nutzbar sind.
Shi Ye stellte Hard Krypton vor, dass viele aktuelle Roboterdaten zwar dreidimensionale Informationen des menschlichen Körpers oder des Roboters enthalten, die Objekte selbst aber immer noch auf zweidimensionaler Ebene verbleiben. Wenn solche Daten für das Training verwendet werden, könnte das Modell glauben, dass der Roboter das Greifen abgeschlossen hat, aber im realen dreidimensionalen Raum wurde das Objekt tatsächlich nicht korrekt erfasst. InstAdapt hat einen Datenproduktionsprozess aufgebaut, der von der Segmentierung von Videos aus erster Perspektive über die Rekonstruktion des dreidimensionalen Raums bis zur Modellierung der Interaktionsbeziehung zwischen Hand und Objekt reicht, mit dem Ziel, neue reale Probleme schnell in erfahrungen umzuwandeln, die Roboter lernen und wiederverwenden können.
Die zweite Ebene ist die Generierung von 3D-physischen Vermögenswerten und Szenenrekonstruktion. Durch Eingaben wie Fotos und Videos rekonstruiert InstAdapt neue reale Umgebungen schnell zu trainierbaren, interaktiven und bearbeitbaren dreidimensionalen Aufgabenumgebungen und führt weiter physische Eigenschaften und Kontaktbeziehungen ein, um 3D-physische Vermögenswerte zu bilden, die direkt für das Robotertraining dienen können. Eine echte Erfahrung kann durch Änderung der Objektpositionen, Szenenbedingungen und Aufgabenparameter zu einer großen Anzahl steuerbarer Trainingsszenarien erweitert werden. Daraus entsteht die Real-to-Sim-to-Real-Pipeline: „Reale Daten → Robot-ready-Daten → 3D-physische Vermögenswerte → Simuliertes Training → Nachschulung → Einsatz auf echten Geräten“. Diese wiederholbaren und bearbeitbaren dreidimensionalen physischen Umgebungen werden nicht nur zum Trainieren von Robotern verwendet, sondern bilden auch die Grundlage für die Generierung von Erfahrungen zur Fehlerwiederholung, zu kontrafaktischen Experimenten und zur nachfolgenden rekursiven Selbstverbesserung.
(Bildquelle / Unternehmen)
Die dritte Ebene ist das einheitliche Welt-Aktions-Modell und das Training von Roboter-Strategien. InstAdapt erforscht ein einheitliches multimodales Welt-Aktions-Modell: Derselbe Roboter generiert nicht nur Roboteraktionen, sondern prognostiziert auch die visuellen, zustandsbezogenen und kontaktbezogenen Änderungen nach der Ausführung der Aktion. Er beantwortet nicht nur die Frage „Was soll ich jetzt tun?“, sondern muss auch ableiten „Was wird passieren, wenn ich es tue?“, und nutzt die Prognose der zukünftigen Ergebnisse, um die Generierung von Aktionen im Nachhinein zu beschränken.
Bei der Generierung von Aktionen forscht das Team rund um das Diffusions-Welt-Aktions-Modell und legt Wert auf die Kontinuität der Trajektorien, die Zuverlässigkeit der Zustandsübergänge und die Steuerbarkeit des Generierungsprozesses. Im Hinblick auf das Kontaktverständnis führt InstAdapt weiter visuelle und taktile Informationen ein, sodass das Modell Zustände verstehen kann, die mit dem Sehen allein schwer zu beurteilen sind, wie z. B. Greifstabilität, Gleiten, Blockieren und unvollständiges Einstecken. Die Prognose zukünftiger Folgen hilft nicht nur bei der Generierung von Aktionen, sondern kann auch zur Diagnose von Fehlerursachen, zur Bewertung der kontrafaktischen Ergebnisse verschiedener Aktionen und zur Bestimmung, welche Erfahrungen in der nächsten Runde generiert und gelernt werden sollen, verwendet werden.
Die vierte Ebene ist das generative verstärkende Lernen und die durch Weltmodelle angetriebene embodied rekursive Selbstverbesserung (RSI). Durch den geschlossenen Kreislauf „Simulationsableitung → Lückenidentifikation → Erfahrungsgenerierung → Strategietraining → Überprüfung auf echten Geräten → Mechanismusaktualisierung“ werden Erfahrungen in Fähigkeiten umgewandelt, um eine kostengünstige Anpassung zu erreichen. Durch verschiedene Fälle werden kontinuierlich Lücken gefunden und Strategien aktualisiert. Bei jeder Lernrunde werden das Modell und der Bewertungsmechanismus gleichzeitig optimiert, um die Effizienz der Selbstadaption in neuen Szenarien zu verbessern.
(Bildquelle / Unternehmen)
Derzeit hat InstAdapt eine komplette technische Pipeline aufgebaut, die von der Datenproduktion, der Generierung physischer Vermögenswerte, dem Modelltraining bis zum Einsatz von Robotern reicht, und Szenarienprüfungen für Operationen mit geschickten Händen und feinen Aufgaben abgeschlossen. Die relevanten technischen Lösungen des Unternehmens wurden eingeladen, auf der NVIDIA GTC 2026 vorgestellt zu werden. Es ist das einzige Unternehmen vor Ort, das die technischen Fortschritte im Bereich der physischen KI-Infrastruktur gemeinsam mit NVIDIA präsentiert.
Nach Abschluss dieser Finanzierungsrunde wird InstAdapt den Aufbau der physischen KI-Infrastruktur weiter vorantreiben und sich schwerpunktmäßig in das hochwertige Datensystem für Roboter, die Forschung und Entwicklung von Weltmodellen sowie die kommerzielle Umsetzung in praktischen Szenarien einbringen.
Auszug aus dem Austausch mit dem Gründer:
Hard Krypton: Worin liegt der Unterschied bei der visuell-taktilen Fusion, die das Unternehmen durchführt?
Shi Ye: Der wirklich wertvolle Moment des Tastsinns tritt ein, nachdem der Roboter bereits mit dem Objekt in Kontakt gekommen ist. Wir ersetzen das Sehen nicht durch den Tastsinn, sondern nutzen den Tastsinn als entscheidende ergänzende Modalität, um das Verständnis des Kontaktzustands und des Interaktionsprozesses zu verbessern. Bei herkömmlichen taktilen Daten werden meist Sensoren an bestimmten Objekten angebracht, um Signale unter voreingestellten Zuständen aufzuzeichnen; was Roboter wirklich benötigen, sind jedoch dreidimensionale Interaktionsinformationen während des kontinuierlichen Betriebs.
Wir haben ein dreidimensionales Hand-Objekt-Interaktionsdaten-System aufgebaut, das die vollständigen Zustände der Hand, des Objekts und des Kontaktprozesses aufzeichnet. Es enthält sowohl dreidimensionale Rauminformationen als auch taktile Interaktionsinformationen. Das Ziel ist es, den Tastsinn von isolierten Sensorsignalen in Trainingsdaten umzuwandeln, die mit Sehen, Aktionen und dreidimensionaler Geometrie ausgerichtet sind, und diese auf Robotersysteme verschiedener Formen abzubilden. In vorläufigen Überprüfungen stieg die Erfolgsrate um mehr als 30 %, nachdem das taktil-visuelle Weltmodell bei einigen betriebsaufgaben mit reichem Kontakt eingeführt wurde.
Was noch wichtiger ist: Das taktile Feedback verbessert nicht nur die Erfolgsrate der aktuellen Aufgabe, sondern hilft dem System auch zu beurteilen, warum der Roboter versagt hat – ob ein Gleiten, Blockieren oder unvollständiger Kontakt aufgetreten ist. Bei neuen Objekten, neuen Montageaufgaben oder neuen Betriebsumgebungen verbessern diese Informationen gezielt die Fehlerdiagnose und das nächste Training, wodurch die Anpassung an Aufgaben beschleunigt wird.
Hard Krypton: Warum betrachtet InstAdapt das „einheitliche Welt-Aktions-Modell + generatives verstärkendes Lernen“ als Grundlage für die embodied rekursive Selbstverbesserung?
Shi Ye: Das einheitliche Welt-Aktions-Modell generiert nicht nur Roboteraktionen, sondern leitet auch die zukünftigen Zustände nach der Ausführung der Aktion ab. Das generative verstärkende Lernen wandelt Aufgabenbelohnungen, Fehlerfälle, Simulationserfahrungen und Feedback von echten Geräten in Signale zur Aktualisierung der Strategie um, sodass Roboter nicht nur vorhandene Daten wiedergeben, sondern während der Interaktion weiter lernen können.
Aber die echte rekursive Selbstverbesserung besteht nicht nur darin, dieselbe Strategie wiederholt zu trainieren. Das System muss auch das Weltmodell, die Belohnungsbewertung und den Mechanismus zur Aufgabengenerierung kontinuierlich entsprechend den Ergebnissen jeder Runde verbessern. Zum Beispiel: Wenn das Weltmodell bei einer bestimmten Art von Kontaktzuständen einen großen Prognosefehler aufweist, erzeugt das System mehr relevante Simulationsszenarien; wenn der Roboter bei dem Einsatz auf echten Geräten wiederholt einen bestimmten Fehler aufweist, erzeugt das System kontrafaktische Aufgaben um diese Fähigkeitslücke herum; nachdem die neue Strategie durch Simulation und Überprüfung auf echten Geräten bewertet wurde, entstehen wieder höherwertige Erfahrungen für das nächste Training. Dieser Mechanismus löst zunächst das Problem, wie Roboter sich schneller an neue Aufgaben anpassen können, und geht dann weiter zu der Frage, wie sie sich während des langfristigen Einsatzes kontinuierlich weiterentwickeln können. Wir möchten einen RSI-Mechanismus aufbauen, der durch Aufgabenziele, Sicherheitsbeschränkungen und echtes Feedback gesteuert wird. Nach jeder Lernrunde sind Roboter nicht nur in ihren Aufgabenfähigkeiten stärker, sondern steigern auch die Effizienz bei der Erkennung von Problemen, der Generierung von Erfahrungen und der Durchführung von Anpassungen, wenn sie das nächste Mal mit neuen Aufgaben konfrontiert werden.
Hard Krypton: Was ist der größte Unterschied von InstAdapt im Vergleich zu anderen Unternehmen, die Infrastrukturen für Weltmodelle, Roboterdaten oder das nachfolgende Training nach der Simulation anbieten?
Shi Ye: Wir teilen Daten, Simulation, Modelltraining und Einsatz nicht in unabhängige Produkte auf. Was InstAdapt aufbaut, ist kein einzelnes Punktmodell, sondern ein geschlossener Kreislauf für kontinuierliches Lernen, der von realen Daten, 3D-physischen Vermögenswerten, Simulationserfahrungen, dem einheitlichen Welt-Aktions-Modell und dem generativen verstärkenden Lernen bis hin zum Einsatz auf echten Geräten und der Rückführung von Feedback reicht.
Unser Ausgangspunkt war immer klar: Das Weltmodell wird kein „Simulator“ sein, der außerhalb der Strategie angehängt ist. Die wahrscheinlichere Form ist, dass das Weltmodell und die Aktionsstrategie allmählich vereinheitlicht werden. Dasselbe Modell beantwortet nicht nur die Frage „Was soll ich jetzt tun?“, sondern leitet auch ab „Was wird passieren, wenn ich es tue?“, und nutzt die Prognose der zukünftigen Folgen, um die Generierung von Aktionen im Nachhinein zu beschränken. Auf dieser Grundlage werden neue Umgebungen und Aufgaben schnell in Robot-ready-Daten und 3D-physische Vermögenswerte umgewandelt, in der Simulation zu umfangreichen steuerbaren Interaktionserfahrungen erweitert, und dann durch Feinabstimmung in der Cloud und generatives verstärkendes Lernen kontinuierlich nachtrainiert. Schließlich werden Weltmodelle, Simulationserfahrungen und eine kleine Menge an Daten von echten Geräten integriert, um sich an spezifische Roboter-Körper und Szenarien anzupassen. Der geschlossene Kreislauf läuft kontinuierlich: Das Feedback jeder Runde auf echten Geräten macht die nächste Simulation gezielter, und jede Modellaktualisierung verkürzt die Zeit und die Menge an realen Daten, die für die nächste Anpassung benötigt werden. Das endgültige Ziel ist: Roboter sollen neue Aufgaben schnell erlernen, wenn sie mit neuen Umgebungen konfrontiert werden, sich nach dem tatsächlichen Einsatz kontinuierlich weiterentwickeln und sich das nächste Mal noch schneller anpassen können.