Nach GPT-6 stecken die großen Embodied-KI-Modelle in einer selbst geschaffenen Zwangslage fest! Das für das nächste Jahr geplante Budget für eigenständige Forschung und Entwicklung ist höchstwahrscheinlich nicht mehr gesichert.

Erst zwei Monate nach der Veröffentlichung von GPT-6 Astra steht GPT-6.2 Astra bereits kurz vor der Markteinführung.

Die Branche der verkörperten Intelligenz hat sich noch nicht von dem letzten Rückschlag erholt.

Alles kam völlig unerwartet.

Man erinnert sich noch, dass bei der ersten Veröffentlichung von GPT-6 Astra eine Reihe von Praktikern im Bereich der verkörperten Intelligenz völlig überrascht waren. Insbesondere Ingenieure, die an vorderster Front mit dem Vortraining arbeiten, fühlten sich alle bedroht.

Kürzlich verbreitete sich in der Branche die Nachricht, dass einige Unternehmen für verkörperte Intelligenz begannen, Stellen im Algorithmusbereich zu streichen.

Fähigkeiten, die früher eine große Menge an Daten, Rechenleistung und Algorithmus-Ingenieuren erforderten, um sie Schritt für Schritt zu erarbeiten, konnte GPT-6 Astra in einigen Tests bereits zeigen, ohne zusätzliches Nachtraining für bestimmte Aufgaben durchzuführen.

Wie soll man da noch mithalten???

Ein Ingenieur, der in einem Roboterunternehmen an der Modellentwicklung arbeitet, erzählte QbitAI:

Verglichen mit dem Umstand, dass bei der verkörperten Intelligenz seit langem kein neuer Paradigmenbruch aufgetreten ist, treffen die allgemeinen großen Modelle, die von Astra repräsentiert werden, die Branche der verkörperten Intelligenz vertikal auf Codierungsweise – das ist der echte Einschlag.

Der Druck durch diesen Einschlag kommt nicht vollständig aus dem Silicon Valley.

Verglichen mit den technischen Fortschritten von ausländischen Großmodellunternehmen wie OpenAI sind inländische Unternehmen für verkörperte Intelligenz empfindlicher gegenüber den nächsten Schritten der lokalen Akteure im Bereich großer Modelle.

Kimi, DeepSeek, Zhipuai ... diese Namen werden zu Variablen, die die Branche der verkörperten Intelligenz unbedingt beachten muss.

In dem aktuell beliebten RoboDojo-Benchmark versuchen immer mehr Teams, allgemeine große Modelle (wie GPT-6 Astra) in ihre eigenen Robotersysteme zu integrieren, die eine starke Generalisierung und erstaunliche Fähigkeiten aufweisen.

Laut Chen Tianxing, Erstautor des RoboTwin/RoboDojo-Benchmarks, haben einige Teams, die ursprünglich darauf bestanden, native grundlegende Modelle für verkörperte Intelligenz zu trainieren, inzwischen begonnen, Lösungen mit Technologien wie Robot-Use-Agent (RUA) einzureichen, um Roboteraufgaben mit Hilfe allgemeiner großer Modelle zu erledigen.

Der Effekt ist sehr direkt. Modelle, die ursprünglich nur 20 oder 30 Punkte erreichten, konnten nach der Integration von Astra-bezogenen Lösungen ihre Bewertungsergebnisse auf 50 oder 60 Punkte steigern.

Die Punkte auf der Rangliste steigen, aber in den Köpfen der Unternehmen für verkörperte Intelligenz gibt es nur einen Gedanken:

Ist es noch notwendig, das Modell selbst zu entwickeln … (weinen)

Als Doktorand im Bereich der verkörperten Intelligenz am MMLab der Universität Hongkong beteiligte sich Chen Tianxing an der Bewertung von GPT-6 Astra durch RoboDojo und der Erstellung des Bewertungsberichts (im Folgenden „Bericht“ genannt).

△Früher Bewertungsbericht des RoboDojo-Teams zu GPT-6 Astra

Als er sich an einen Tag Mitte September erinnerte, sagte Chen Tianxing zu QbitAI, dass er einige Sekunden lang erstaunt war, als seine Kollegen nacheinander die Testergebnisse vorlegten:

Man kann sehen, dass seine Auswirkungen auf Bereiche wie 3D-Rekonstruktion und Mathematik beispiellos sind.

Es ist erschreckend, wirklich ziemlich erschreckend.

Alle wurden von GPT-6 überrascht

„Die selbst entwickelten Modelle für verkörperte Intelligenz steigern ihre Punktzahl auf 80 immer um 0,1 oder 0,2, während GPT-6 Astra bereits in einem Sprung von 80 auf 90 Punkte gesprungen ist.“

Das ist ein anschauliches Vergleich, das Chen Tianxing bei der Rückschau auf diese Bewertung machte.

Noch schmerzhafter ist, dass Astra in einigen Tests nicht einmal ein zusätzliches Nachtraining für bestimmte Aufgaben durchführte und keine Aufgabenbeispiele verwendete, sondern nur mit sprachlichen Anweisungen viele Roboterbedienungsaufgaben erledigen konnte.

Was ihn am meisten überraschte, war, dass Astra plötzlich drei Fähigkeiten zeigte, die Modelle für verkörperte Intelligenz in der Vergangenheit schwerpunktmäßig erarbeiten mussten.

Die erste ist ICL (In-Context Learning, kontextbezogenes Lernen).

Einfach ausgedrückt: Der Roboter lernt eine neue Aufgabe schnell anhand weniger kontextbezogener Informationen.

Zum Beispiel: Wenn ein Mensch ein Video seiner eigenen Bedienung aufnimmt und mit einer Textbeschreibung versieht, kann der Roboter verstehen, wie der Mensch vorgegangen ist, und versuchen, den mechanischen Arm dies nachahmen zu lassen.

Dieses Jahr im Juli war ICL noch eine sehr beliebte Forschungsrichtung im Bereich der verkörperten Intelligenz. Das übliche Paradigma bestand darin, menschliche Bedienungen zu zeigen, damit der Roboter sie nachahmt, um neue Fähigkeiten zu erlernen – das sogenannte Single-Shot-In-Context-Lernen.

Aber die Community stellte fest, dass die Erfolgsrate höher ist, wenn Astra Bild- oder Textbeispiele erhält, als wenn keine Beispiele bereitgestellt werden.

Noch überraschender ist seine Online-Anpassungsfähigkeit. Die Forscher änderten absichtlich das Kamerabild und das Bewegungskoordinatensystem, und Astra konnte seine Strategie nach einigen Versuchen an die tatsächlichen Ausführungsergebnisse anpassen und die Aufgabe erfolgreich erledigen.

Das heißt, es kann nicht nur den Kontext verstehen, sondern auch während der Ausführung korrigieren.

Nach Ansicht von Chen Tianxing verfügen allgemeine Modelle selbst über eine starke Fähigkeit zum kontextbezogenen Verständnis. Beim normalen Chatten können sie den vorherigen Gesprächsverlauf merken, und wenn man ihnen ein Video gibt, können sie auch die Beziehung zwischen dem Videoinhalt und dem Text verstehen.

Wenn diese Fähigkeiten auf die Roboterbedienung übertragen werden, gibt es plötzlich eine fertige Lösung für das ICL-Problem, das früher eigens erforscht werden musste.

Die zweite ist OOD (Out-of-Distribution, Generalisierung außerhalb der Verteilung) und Korrekturfähigkeit.

Roboter treffen in der realen Umgebung leicht auf Situationen, die außerhalb der Trainingsdaten liegen.

Zum Beispiel: Der mechanische Arm ist dabei, einen Becher zu greifen, aber der Becher wird plötzlich angestoßen und seine Position ändert sich.

Ein Modell, das übermäßig von Trainingsdaten abhängig ist, könnte noch entlang der ursprünglichen Bahn ausführen und am Ende ins Leere greifen.

Astra kann seine Bewegung an die geänderten visuellen Informationen anpassen und versuchen, das Objekt zu greifen.

Das klingt nur nach einer kleinen Bewegung, aber dahinter steht die Frage, ob der Roboter an die reale Welt angepasst werden kann.

Schließlich gibt es in der realen Welt niemanden, der jeden Becher wieder an die Position zurückstellt, an der er beim Training stand.

Die dritte ist Open-Vocabulary Manipulation (Bedienung mit offenem Vokabular).

Diese Fähigkeit betrifft die Ausrichtung zwischen Sprache und Bewegung.

Zum Beispiel: Wenn der Benutzer die Bedienanforderung in unterschiedlichen Worten ausdrückt, kann der Roboter sie trotzdem verstehen und ausführen.

In der Vergangenheit gab es oft eine Lücke zwischen Sprachverständnis und Bewegungsausführung, und Modelle für verkörperte Intelligenz mussten nach dem Training für bestimmte Aufgaben ausgerichtet werden, um die Ausrichtung besser zu erreichen.

Aber Astra zeigte in diesem Bereich stärkere Fähigkeiten. In einigen Tests konnte es viele Roboterbedienungen nur mit sprachlichen Anweisungen erledigen, ohne zusätzliches Nachtraining und Beispiele für bestimmte Aufgaben.

Nach Ansicht von Chen Tianxing waren diese drei Punkte einst sehr gewichtige technische Themen im Bereich der verkörperten Intelligenz, die früher alle als eigenständige Gründungsgeschichte erzählt werden konnten.

Jetzt hat Astra diese drei Probleme auf einmal gelöst, was für den ursprünglichen Forschungs- und Entwicklungsweg von Modellen für verkörperte Intelligenz ein fast explosionsartiger Einschlag ist.

△Null-Shot-Testergebnisse im RoboDojo-Sim-Benchmark bedeuten nicht, dass Astra diese Aufgaben bereits stabil auf echten Robotern erledigen kann.

In dem Bericht weist das RoboDojo-Team darauf hin, dass der reale Maschinentest von Astra aus Sicherheitsgründen abgebrochen wurde.

Hohe Punktzahlen auf der Simulationsrangliste können nicht direkt mit der Produktivität in der realen Welt gleichgesetzt werden.

Aber es reicht aus, damit Unternehmen für verkörperte Intelligenz ihre vergangenen Forschungs- und Entwicklungsinvestitionen neu bewerten.

Warum kann ein allgemeines großes Modell, das ursprünglich nicht für Roboterbedienungen entwickelt wurde, schnell die Fähigkeiten erreichen, die Unternehmen für verkörperte Intelligenz über viele Jahre angesammelt haben?

Das klingt ein bisschen wie ein zufälliger Erfolg.

Obwohl allgemeine große Modelle nicht von Grund auf lernen, Roboter zu bedienen, betreten sie den Bereich der Robotik mit einer Reihe von Fähigkeiten wie Sprache, Sehen, Schlussfolgerung und Codierung, die sie während des groß angelegten Vortrainings angesammelt haben.

Diese Fähigkeiten hatten ursprünglich jeweils ihre eigene Verwendung, und man hätte nicht erwartet, dass sie auch direkt auf Roboter angewendet werden können.

Im Gegensatz dazu trainieren viele Teams von Unternehmen für verkörperte Intelligenz das Roboterhirn von Grund auf neu, und die Daten in ihren Händen stammen hauptsächlich aus der Roboterbedienung selbst.

Das Modell muss die Umgebung verstehen, Anweisungen verstehen und Bewegungen lernen – viele Fähigkeiten müssen Schritt für Schritt aus begrenzten Daten erarbeitet werden.

Die eine Seite kommt mit allgemeinen Fähigkeiten, um Roboter zu bauen, die andere Seite investiert noch separat Daten, Rechenleistung und Personal für jede einzelne Fähigkeit.

Dieser Wettbewerb hat von Anfang an unterschiedliche Startbedingungen.

Ist die Eigenentwicklung von Modellen noch notwendig?

GPT-6 Astra ist zwar sehr leistungsstark, aber nicht so stark, dass Unternehmen für verkörperte Intelligenz sofort kapitulieren müssen.

Zumindest in der realen physischen Welt gibt es noch viele harte Nüsse zu knacken.

Xu Huazhe, Gründer von Poke Robotics, unterteilt die Fähigkeiten der verkörperten Intelligenz in drei Ebenen: semantische, räumliche und physische Generalisierung.

Seiner Meinung nach zeigt Astra herausragende Leistungen in den ersten beiden Punkten, aber bei komplexen physischen Kontakten, Kraftänderungen, Objektverformungen und hochpräzisen Bedienungen gibt es immer noch Herausforderungen.

Zum Beispiel: Dem Roboter beizubringen, wo ein Becher ist und dass er ihn greifen soll, ist etwas völlig anderes, als ihn einen Becher stabil greifen zu lassen.

Ist der Becher weich oder hart? Wie viel Kraft soll beim Greifen angewendet werden? Was passiert mit dem Objekt, wenn es gedrückt oder gestoßen wird?

Diese Fragen lassen sich nicht nur dadurch lösen, dass man das Bild versteht und die Anweisung begreift.

△Screenshot des Berichts

Das RoboDojo-Team stellte bei der Bewertung auch fest, dass Astra nicht bei allen Aufgaben überlegen ist.

Geometrische Ausrichtung und das Verständnis sprachlicher Anweisungen sind seine Stärken, aber bei fortlaufenden Kontakten und mehrstufigen physischen Bedienungen haben vorhandene VLA-Modelle immer noch viele