Modelle entwickeln sich rasant, die Bewertung kann nicht Schritt halten? Die „Fähigkeiten“ der verkörperten Intelligenz bedürfen dringend eines einheitlichen „Maßstabs“.

Die gemeinsam von mehreren Seiten aufgebaute reguläre Simulations- und Bewertungsplattform für Embodied Intelligence RoboColiseum ist offiziell gestartet. Sie soll ein Simulationsbewertungssystem für Embodied-Modelle aufbauen, dessen Ergebnisse vertrauenswürdig sind, dessen Prozesse reproduzierbar sind und das mit der Leistung auf echten Geräten hochgradig übereinstimmt.

Mehr als die Hälfte des Jahres 2026 ist vergangen, und Embodied-Intelligenz-Modelle entstehen in rasanter Geschwindigkeit. Das Wachstum der Modellzahl hat die Branche jedoch nicht übersichtlicher gemacht. Im Gegenteil: Je mehr Optionen es gibt, desto fehlt es an einem einheitlichen Bezugspunkt für den horizontalen Leistungsvergleich.

Im vergangenen Jahr haben zahlreiche Einrichtungen im In- und Ausland nacheinander Embodied-Basismodelle und VLA (Visuell-Sprach-Aktions-Modell) veröffentlicht. Operationen wie Greifen, Ablegen, Eingießen von Wasser und Falten von Kleidung in den Demonstrationsvideos werden immer flüssiger.

Trotzdem steht die aktuelle Embodied-Intelligenz-Branche vor einem praktischen Dilemma: Die Modelle entwickeln sich schnell, aber die Bewertung kann nicht Schritt halten. Der gesamten Branche fehlt noch ein systematisches, vertrauenswürdiges Messinstrument, um die tatsächlichen Leistungsgrenzen der Modelle und ihre Hauptschwächen zu ermitteln.

Wie Reporter von *Kechuang Ribao* erfahren haben, ist vor kurzem die von Universitäten, Forschungseinrichtungen, Open-Source-Gemeinschaften, Robotikunternehmen und Modellentwicklern gemeinsam aufgebaute reguläre Simulations- und Bewertungsplattform für Embodied Intelligence RoboColiseum offiziell in Betrieb gegangen. Sie zielt darauf ab, ein Simulationsbewertungssystem für Embodied-Modelle zu etablieren, dessen Ergebnisse vertrauenswürdig sind, dessen Prozesse reproduzierbar sind und das mit der Leistung auf echten Geräten hochgradig übereinstimmt.

Wu Mo, Projektleiter von RoboColiseum, hat in einem Interview mit Reportern von *Kechuang Ribao* zwei zentrale Validierungsdaten offengelegt: Die Korrelation zwischen der Simulationsbewertung der Plattform und dem Einsatz auf echten Geräten beträgt 89,5 %, und der Bewertungsunterschied desselben Modells in der Simulationsumgebung und der realen Welt liegt unter 10 %.

Diese Schlussfolgerung ist nicht aus der Luft gegriffen. Laut Wu Mo hat das Team auf der Grundlage von mehr als einem Dutzend Bewertungsaufgaben von einfach bis komplex für jede Aufgabe jeweils 50 bis 100 kontrollierte Experimente auf echten Geräten und in der Simulationsumgebung durchgeführt und schließlich durch lineare Anpassung die Korrelation von 89,5 % ermittelt.

Vergleich des Sim2Real-Experiments auf der RoboColiseum-Plattform

Im Gegensatz zu herkömmlichen Bewertungen, die die Modellfähigkeit mit einer einzigen umfassenden Erfolgsrate zusammenfassen, richtet RoboColiseum mehrere Aufgabensätze um verschiedene Fähigkeitsdimensionen ein, um die Leistung des Modells in allen Dimensionen zu prüfen. Es ist bekannt, dass auf RoboColiseum bereits vier Unterranglisten für Fähigkeiten wie Befehlsfolge, Raumverständnis, Störungsanpassung und allgemeine Operationen sowie 78 hochpräzise Simulationsbewertungsaufgaben mit mehr als 3000 generalisierten Fällen online gestellt wurden.

„Wir haben die vier Unterranglisten für Fähigkeiten schließlich abgeleitet, indem wir untersucht haben, welche verschiedenen Fähigkeiten Roboter benötigen, um eine Reihe von Aufgaben in der realen Welt zu erledigen“, erklärte Wu Mo dem Reporter das Designkonzept. „Diese Bewertungsdimension prüft, ob das Modell Befehle verstehen, die räumliche Welt begreifen, Störungen in der realen Welt widerstehen und schließlich die mit den Befehlen verbundenen Operationsaufgaben ausführen kann.“

Gleichzeitig zerlegt die Plattform jede Aufgabe in Teilschritte, sodass die Ursache für Fehler nachverfolgt werden kann. Während des Bewertungsprozesses ermittelt das System nicht nur das Endergebnis der Aufgabe, sondern zeichnet auch alle ausgeführten Schritte des Modells, die Fehlerstellen und seine generalisierte Leistung in verschiedenen Szenen auf.

Seit der internen Testphase haben bereits mehr als 40 Teams aus dem In- und Ausland auf RoboColiseum Modelltraining und -bewertung durchgeführt. Wu Mo teilte mit, dass Generalisierbarkeit, langfristige präzise Operationen usw. derzeit die Schwächen der meisten Modelle sind, und entsprechende Bewertungsdimensionen werden später ergänzt und auf der Plattform aktualisiert.

Tatsächlich ist RoboColiseum nicht das einzige Projekt, das die Lücke bei den Bewertungsstandards schließen will. In diesem Jahr beschleunigen zahlreiche Akteure von offiziellen Einrichtungen über Unternehmen bis hin zu akademischen Gemeinschaften die Standardisierung der Bewertungsmaßstäbe für Embodied Intelligence.

Am 1. Juni 2026 wurde der von dem Ministerium für Industrie und Informationstechnologie genehmigte Standard „YD/T 6770-2026 Künstliche Intelligenz – Schlüsselgrundlagentechnologien – Benchmark-Testverfahren für Embodied Intelligence“ offiziell in Kraft gesetzt, der die erste Branchennorm im Bereich der Embodied Intelligence darstellt. Demnach regelt dieser Standard die Umgebungseinstellungen, den Aufbau der Aufgabenbibliothek, den Testablauf und die Methoden zur Berechnung der Indikatoren für die Durchführung von Benchmark-Tests für Embodied Intelligence in Simulations- und realen Umgebungen.

Gleichzeitig mit der Umsetzung des Branchenstandards haben auch zahlreiche Unternehmen Bewertungsplattformen eingeführt. Guanglun Intelligence hat RoboFinals auf der Förderkonferenz für den Aufbau des Innovationshochlands für künstliche Intelligenz in Peking offiziell vorgestellt, das ein standardisiertes Bewertungssystem auf der Grundlage von 100 schwierigen Aufgaben aufbaut; Dexmal Yuanli Lingji hat gemeinsam mit Hugging Face die offene Benchmark-Testplattform RoboChallenge initiiert, und die Gesamtzahl der auf der Plattform durchgeführten Tests auf echten Geräten hat bereits 40.000 überschritten.

International haben Einrichtungen wie die University of California, Berkeley, die Stanford University und NVIDIA gemeinsam eine internationale öffentliche Bewertungsplattform für Strategien von Embodied-Intelligenz-Robotern initiiert. Diese Plattform nutzt ein verteiltes, auf Mitwirkung aus der Masse basierendes Bewertungsnetz in der realen Welt und hat die Gültigkeit des Verfahrens durch mehr als 600 doppelblinde Bewertungsvergleiche mit echten Robotern validiert.

Obwohl zahlreiche Akteure einsteigen, ist der Bereich der Embodied-Intelligenz-Bewertung noch weit davon entfernt, einen einheitlichen Benchmark wie MMLU oder GSM8K im Bereich der großen Modelle zu bilden.

Warum ist die Embodied-Bewertung so schwierig? Der wesentliche Unterschied liegt in der Eigenschaft des Bewertungsobjekts. Die Bewertung großer Modelle basiert hauptsächlich auf statischen Frage-Antwort-Datensätzen, mit denen man durch einen einzigen Durchlauf die Punkte vergleichen kann. Die Bewertung von Embodied-Modellen muss jedoch in der dynamischen physischen Welt durchgeführt werden und lässt sich nicht zu einer Reihe standardisierter Fragen und Antworten komprimieren. Tests auf echten Geräten sind zwar die zuverlässigste Methode, aber sie sind extrem teuer: Ein humanoider Roboter kostet leicht mehrere Hunderttausend Yuan, zusätzlich werden passende Testflächen, Wartungsingenieure und lange Einstellungszyklen benötigt.

Darüber hinaus ist das größte Problem der Simulationsbewertung die Sim2Real-Lücke (Kluft zwischen Simulation und Realität). Realfaktoren wie veränderte Beleuchtung, verschobene Objektpositionen und unterschiedliche Materialeigenschaften können dazu führen, dass ein Modell, das in Simulationsversuchen gut abschneidet, beim tatsächlichen Einsatz nicht mit der realen Situation zurechtkommt.

Wu Mo wies ebenfalls darauf hin, dass es in der Embodied-Branche noch keinen einheitlichen, autoritativen Bewertungsrangliste für Modelle gibt. Der Hauptgrund ist, dass sich die Branche und die Modelle so schnell entwickeln, dass die meisten Bewertungsbenchmarks nach ihrer Veröffentlichung nicht mehr aktualisiert werden und mit dem Iterationstempo der Modelle nicht Schritt halten können; gleichzeitig kann bei einer zu großen Lücke zwischen Simulation und echten Geräten das Bewertungsergebnis die Leistung des Modells nicht wirklich widerspiegeln.

Die Embodied Intelligence befindet sich an einem entscheidenden Punkt, an dem sie von Laborpräsentationen zum großflächigen Einsatz übergeht. Als zentrale Infrastruktur für die Entwicklung der Industrie gewinnt das Bewertungssystem zunehmend an Bedeutung. Von der Umsetzung offizieller Standards bis zum Einstieg zahlreicher Plattformen beschleunigt die Branche die Erkundung auf dem Weg zur Konsensbildung. *Kechuang Ribao* wird dies weiter verfolgen.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Kechuang Ribao“, Autor: LI Jiayi, veröffentlicht mit Genehmigung von 36Kr.