Neue Startup-Akteure betreten das Feld des Embodied ICL, und der Kontext entwickelt sich zu einem neuen Scaling-Track.

Im Jahr 2020 erschütterte GPT-3 die NLP-Branche mit der Fähigkeit, neue Aufgaben zu erlernen, nachdem es nur wenige Beispiele gesehen hatte; heute, sechs Jahre später, spielt sich dieselbe Geschichte im Bereich der verkörperten Intelligenz ab.

Richtig, das ist In-Context Learning.

Mitte August veröffentlichte Skild AI das robotische Grundmodell S1. Man muss dem Roboter nur einmal ein Demonstrationsvideo der Aufgabe zeigen, und er kann versuchen, neue, zuvor nicht trainierte Aufgaben zu erledigen, ohne dass ein Fine-Tuning oder zusätzliches Post-Training erforderlich ist. Die Aufgaben können bis zu 10 Minuten dauern und Dutzende von Arbeitsschritten umfassen.

Skild verglich die ICL-Video-Prompt und die traditionelle sprachliche Prompt VLA bei Aufgaben, die das Modell in den Trainingsdaten gesehen hatte, und bei Aufgaben, die es nicht gesehen hatte.

Die Testergebnisse zeigen, dass bei einem Trainingsdatenumfang von nur 1000 Stunden die sprachliche Prompt bessere Ergebnisse liefert, aber mit zunehmendem Datenumfang übertrifft die ICL-Methode die traditionelle Methode. Bei unbekannten Aufgaben verbessert sich die Leistung des Modells durch Hinzufügen des Videokontexts um etwa das 7-fache im Vergleich zur Verwendung nur von sprachlichen Anweisungen.

Eine Woche vor der Veröffentlichung von S1 veröffentlichte Generalist AI GEN-1.5, das ebenfalls One-Shot Learning als Kernfunktion einsetzt. Der Roboter kann nach nur einer einzigen Demonstration neue Aufgaben innerhalb weniger Sekunden erlernen, ohne dass Gradientenaktualisierungen oder Fine-Tuning erforderlich sind. Es unterstützt die Übertragung von menschlichen Demonstrationen zur Roboterausführung, kombinierte Generalisierung und Sim-to-Real-Transfer.

Beide Fortschritte versuchen, Roboter dazu zu bringen, längere multimodale Kontexte zu nutzen.

Der Weg des In-Context Learning (ICL) wurde bereits im Bereich der großen Sprachmodelle validiert und ist zu einem entscheidenden Bestandteil geworden.

Im Jahr 2020 stellte OpenAI in der GPT-3-Arbeit *Language Models are Few‑Shot Learners* das ICL-Konzept vor und definierte es als eine Fähigkeit: Ohne jegliche Parameteraktualisierung des Modells (kein Fine-Tuning, kein Backpropagation-Training) werden nur einige Aufgabenbeispiele (Demonstrationen/Beispiele) in der Eingabeprompt bereitgestellt, sodass das Modell die neue Aufgabe in einem einzigen Vorwärtsdurchlauf erkennen und ausführen kann.

In den letzten drei Jahren hat sich der Kontext von 4K auf 1M erweitert, sodass Modelle ein ganzes Buch oder ein gesamtes Coderepository auf einmal verarbeiten können – der Hauptmotor dahinter ist das ICL.

Im Gegensatz zu großen Sprachmodellen sind verkörperte Modelle mit zusammengesetzten Kontexten konfrontiert, die aus visuellen Beobachtungen, sprachlichen Anweisungen und Aktionssequenzen bestehen. Zudem sind reale Aufgaben nicht-Markovsch – „Was als Nächstes zu tun ist“, hängt davon ab, „was vor einigen Minuten getan wurde“.

Einfach ausgedrückt: Der Kontext, mit dem verkörperte Modelle konfrontiert sind, besteht aus Dutzenden von visuellen Beobachtungsbildern pro Sekunde, ergänzt um Eigenzustände und Aktionssequenzen, sodass der Informationsumfang um mehrere Größenordnungen höher liegt.

Erst am 16. Juli dieses Jahres wurde das robotische Langkontext-Strategiemodell und das Trainingsschema RoboTTT, verfasst von Li Fei-Fei, Jim Fan, Yuke Zhu und anderen, vorgestellt – es übertrug erstmals systematisch den Ansatz des „Kontext-Scaling“ auf visuomotorische Strategien von Robotern.

Im August veröffentlichten Generalist und Skild ihre Ergebnisse.

Obwohl beide Unternehmen die Modellwirkung nur in Form von Ergebnisveröffentlichungen vorstellen und die technischen Details nicht vollständig offenlegen, ist die Diskussion über ICL im Bereich der verkörperten Intelligenz sofort stark angestiegen.

Ob dieser Weg im Bereich der verkörperten Intelligenz wirklich erfolgreich sein kann, hängt von einer Reihe von technischen Problemen ab, die noch lange nicht gelöst sind.

Aus diesem Grund sind wir auf eine spezifischere Frage neugierig geworden:

Wenn die verkörperte Intelligenz wirklich entlang von Long Context und ICL weiterentwickelt wird, wie genau sollen Roboter solch komplexe Kontexte verstehen?

Wie sollen Demonstrationen, Sprache, vergangene Aktionen und sogar menschliche Korrekturen in das Modell gelangen?

Daher haben wir COCO Matrix gefunden – ein inländisches Startup-Unternehmen, das sich der Umsetzung von In-Context Learning als grundlegendes Paradigma für die verkörperte Intelligenz widmet.

Dieses Unternehmen wurde im April 2026 gegründet.

Der Gründer und CEO Gao Yuxiang erzählte mir jedoch, dass er und sein Mitbegründer bereits im Januar dieses Jahres, als sie sich intensiv mit gründungsbezogenen Angelegenheiten befassten, übereinstimmten, dass es an der Zeit ist, auf ICL zu setzen.

Gao Yuxiang ist 30 Jahre alt, stammt aus dem Jugendkolleg der Xi'an Jiaotong-Universität und brach sein Doktorandenstudium an der Johns Hopkins University (JHU) ab, wo er während des Studiums Forschung im Bereich Mensch-Roboter-Interaktion betrieb.

Gao Yuxiang sagte, als GPT-3 die Fähigkeit zum kontextuellen Lernen zeigte, habe er als Doktorand an der JHU bereits darüber nachgedacht, ob diese Fähigkeit – neue Aufgaben zu erlernen, ohne Parameter zu aktualisieren und nur Beispiele anzusehen – auf Roboter übertragen werden kann.

In den folgenden fünf Jahren brach er sein Studium ab, kehrte nach China zurück, gründete ein Startup, arbeitete in der Industrie und gründete erneut ein Unternehmen.

Während dieser Zeit leitete Gao Yuxiang bei Fourier die vollständige Umsetzung der gesamten Kette von Teleoperation, Datenerfassung bis hin zu Modellimplementierung für großformatige humanoide Roboter. Von Mai bis August 2025 trainierte er mit Kosten von über einer Million einen Weltmodell mit gewisser Generalisierungsfähigkeit auf einem großformatigen zweibeinigen humanoiden Roboter.

https://about.yuxiang.io/

Im April dieses Jahres wurde COCO Matrix offiziell gegründet, und das Problem, mit dem er schon während seiner Studienzeit in Berührung kam, wurde zu seiner Gründungsrichtung.

Im Gegensatz zu Generalist und Skild verfolgt COCO Matrix den Ansatz, das nachgelagerte ICL in die Vortrainingsphase vorzuverlagern.

Daher führte ich mit Gao Yuxiang in Shanghai ein ausführliches Gespräch über die technischen Fortschritte, Implementierungsprobleme und Branchendebatten im Zusammenhang mit verkörpertem ICL.

(Im Folgenden das Transkript des Gesprächs, das unter Wahrung des ursprünglichen Sinns leicht bearbeitet wurde)

Warum braucht die verkörperte Intelligenz einen neuen Scaling-Ansatz?

QbitAI: Über einen sehr langen Zeitraum hat die verkörperte Intelligenz Daten entlang des Pfades großer Modelle skaliert. Warum glaubte man, dass das Hinzufügen von mehr Daten die Fähigkeiten von Robotern skalieren kann?

Gao Yuxiang: Anfangs war die gesamte Branche eigentlich ziemlich optimistisch.

Nachdem frühe Lösungen wie ACT und Diffusion Policy erfolgreich waren, wurden viele Kernprobleme des Behavior Cloning und des Imitationslernens grundsätzlich gelöst.

Damals setzte die Branche ganz natürlich die Erfolgslogik großer Sprachmodelle fort: Solange die Daten kontinuierlich erweitert werden, wird das Modell nach Erreichen eines bestimmten Schwellenwerts der Datenmenge emergente allgemeine Fähigkeiten entwickeln und schließlich eine umfassende Aufgabenanpassung erreichen.

In dem damaligen Branchenumfeld war dieser Ansatz an sich nicht falsch, sodass die gesamte Branche begann, die Daten umfassend und skalierbar zu erweitern.

QbitAI: Wo traten später die Probleme auf?

Gao Yuxiang: Für einzelne Aufgaben kann man jetzt etwa zweihundert Datensätze erfassen, um die Aufgabe sehr gut anzupassen. Eine neue Aufgabe von der Demonstration bis zur Modellanpassung kann in etwa achtzehn Stunden abgeschlossen werden.

Aber nach weiterer Erhöhung der Datenmenge zeigte das Modell nie die erwartete allgemeine Generalisierungsfähigkeit.

Gleichzeitig sind die verkörperten Daten an sich schwer zu skalieren. Die Qualität der Teleoperationsdaten ist nicht einheitlich, die Vielfalt von Objekten und Szenen ist begrenzt. Allein mit solchen Daten ist es schwierig, eine ausreichend reichhaltige Wahrnehmungsabdeckung zu gewährleisten.

QbitAI: Welche anderen Probleme gibt es noch?

Gao Yuxiang: Viele frühe VLA-Modelle übernahmen die Vortrainingsarchitektur von großen Sprachmodellen und visuell-sprachlichen Modellen, aber in der physischen Welt können die ursprünglichen visuellen Repräsentationen kaum die verschiedenen Ebenen von Informationen abdecken, die Roboter benötigen. Daher müssen viele Lösungen ständig verschiedene visuelle Module zusammenfügen.

Dieser Ansatz funktioniert in vielen Szenarien immer noch, aber im letzten Jahr hat die Branche allmählich festgestellt, dass es immer schwieriger wird, die Fähigkeiten weiter zu verbessern, wenn man entlang des ursprünglichen VLA-Paradigmas Daten und Module stapelt.

Neue Versuche des Scaling-Ansatzes für die verkörperte Intelligenz

QbitAI: Wenn die Datenabdeckung nicht funktioniert, was skaliert die Branche jetzt?

Gao Yuxiang: Man kann deutlich sehen, dass die Branche beginnt, die Lern- und Anpassungsfähigkeit von Robotern zu beachten.

Früher lag der Fokus eher darauf, wie viele Daten das Modell in der Trainingsphase gesehen hat und wie viele Aufgaben es erlernt hat. Jetzt stellt die Branche eine andere Frage: Können Roboter in einer völlig unbekannten neuen Umgebung oder bei einer neuen Aufgabe den aktuellen Kontext nutzen, um schnell zu lernen?

In diesem Jahr gab es bereits einige deutliche Signale.

Arbeiten wie RoboTTT versuchen, die Kodierung, Komprimierung und Nutzung längerer historischer Informationen zu lösen, sodass Roboter kontinuierlich auf visuelle und aktionsbezogene Kontexte über längere Zeiträume verweisen können.

Die kürzlich von Generalist AI und Skild AI gezeigte One-Shot-Fähigkeit geht noch einen Schritt weiter. Wenn man dem Roboter einmal eine Aufgaben-Demonstration zeigt, kann er sich basierend auf diesem Kontext schnell an neue Aufgaben anpassen, ohne dass für jede Aufgabe ein vollständiges Fine-Tuning oder Training erneut durchgeführt werden muss.

Daher erweitern sich jetzt die Skaling-Dimensionen der verkörperten Intelligenz.

Neben der fortgesetzten Skalierung von Modellen, Daten und Aufgabenabdeckung wird die Frage, ob Roboter nach der Bereitstellung weiter lernen können und schnell neue Fähigkeiten aus Demonstrationen, historischen Erfahrungen und Interaktionen erwerben, ebenfalls zu einer neuen Skalierungsrichtung.

Warum ist das von großen Sprachmodellen validierte Scaling-Paradigma im Bereich der verkörperten Intelligenz so schwierig umzusetzen?

QbitAI: Obwohl es sich um dasselbe ICL handelt, scheint der Schwierigkeitsgrad im Bereich der verkörperten Intelligenz viel höher zu sein als bei großen Sprachmodellen… Wo genau liegt die Komplexität?

Gao Yuxiang: Roboter agieren in der physischen Welt, ihre Eingaben und Aufgabenstrukturen sind weitaus komplexer als reine Sprache.

Diese Komplexität konzentriert sich hauptsächlich auf zwei Dimensionen: Erstens die Probleme mit Ein- und Ausgaben und der technischen Architektur des Modells selbst, zweitens die angeborenen Mängel des Datensystems.

Man kann sie weiter in drei zentrale technische Schwierigkeiten unterteilen.

Erstens das visuelle Verständnis.

Roboter benötigen in verschiedenen Aufgaben und verschiedenen Aktionsphasen unterschiedliche Informationsebenen. Sie müssen sowohl hochgradige Semantik wie „Was ist das?“ verstehen, als auch feine räumliche Informationen erhalten, die direkt mit Aktionen zusammenhängen, wie Position, Tiefe und Kontur.

Das ist der Grund, warum viele frühe VLA-Modelle verschiedene visuelle Modelle wie DINO und CLIP gleichzeitig zusammenfügen mussten. Ein einzelner visueller Encoder kann die von Robotern benötigten Informationen kaum vollständig abdecken.

Zweitens das Multimodalitätsproblem.

Sprache reicht für Roboter bei weitem nicht aus. Der visuelle Sinn trägt den Großteil der Informationen, aber Tastsinn, Gehör und Eigenwahrnehmung beeinflussen ebenfalls die Aktionen.

Das Problem besteht darin, dass die Datenmengen dieser Modalitäten sehr unterschiedlich sind. Bisher können visuelle und sprachliche Daten durch Massendaten zum Vortraining ausgerichtet werden, aber die Datenmenge von Tastsinn, Ton und Eigenzustand hat dieses Niveau noch lange nicht erreicht.

Das dritte Problem betrifft Long Context und Memory.

Roboter führen kontinuierliche Aufgaben aus, sie müssen wissen, was zuvor passiert ist, und beurteilen, welche vergangenen Informationen für die Gegenwart relevant sind. Dieser Prozess umfasst die Komprimierung, Filterung, Extraktion und langfristige Speicherung historischer Informationen.

Tatsächlich sind diese grundlegenden Technologien zur Unterstützung des Langzeitgedächtnisses von Robotern erst in den letzten etwa sechs Monaten deutlich vorangekommen.