Das angesagteste Embodied-Modell im Silicon Valley heute kommt ohne Nachtraining aus und lernt nach nur einmaligem Anschauen.

Die großen Durchbrüche der Embodied AI stehen vor der Tür!!!

Seit Generalist letzte Woche das Embodied-Brain Gen 1.5 veröffentlicht hat, das Aktionen von 3 bis 12 Sekunden erlernen kann ~

Gerade eben hat das nordamerikanische Embodied-Startup Skild AI ein neues grundlegendes Robotermodell namens S1 vorgestellt, das die Aufgabendauer für kontextuelles Lernen von Robotern direkt auf über 10 Minuten anhebt.

Das neue S1 ist auf kontextuelles Lernen (in-context learning, ICL) ausgerichtet:

Es ist nicht erforderlich, spezielle neue Betriebsdaten in der Nachtrainingsphase zu erlernen. Man muss nur ein Demonstrationsvideo von Menschen ansehen, um direkt einen ganzen Satz komplexer, nie gesehener Betriebsabläufe nachzuahmen und abzuschließen.

In der offiziellen Demonstration erledigte der Roboter langwierige Aufgaben wie das Zubereiten von Pfannkuchen, das Aufbrühen von Kaffee, das Umtopfen von Pflanzen und die Montage von Geräten. Und bei unbekannten Aufgaben erreichte er eine Erfolgsrate von 66 %, was weit über der sprachgestützten VLA (nur 9 %) liegt.

Darüber hinaus selbst wenn man den traditionellen Weg des Feintunings nach dem Training verfolgt, um das Niveau zu erreichen, das S1 nur durch eine einmalige Demonstration erreicht, müssen etwa 380 Aufgabendemonstrationen eingegeben werden.

Das ist absolut erstaunlich!

Man kann sagen, dass die jüngste Welle von Arbeiten, die sich auf kontextuelles Lernen konzentrieren, vielen Menschen die Hoffnung auf Embodied Intelligence neu entfacht hat.

Ein Twitter-Nutzer äußerte, dass allgemeine Roboter möglicherweise in zwei Jahren statt in sieben Jahren erscheinen werden.

Andere Nutzer sagten, von Rhoda über den letzte Woche vorgestellten Generalist bis hin zu den 10-Minuten-Aufgaben von Skild S1 scheint der echte GPT-Moment für Roboter nun zu kommen.

Denn sobald diese Fähigkeit wirklich generalisiert ist, könnte die Entwicklung von Roboterfähigkeiten in Zukunft tatsächlich so einfach werden wie das Schreiben von Prompts für ChatGPT.

Ist das wirklich so unglaublich? Schauen wir uns das gemeinsam an.

Vom BERT-Zeitalter zum GPT-Zeitalter

Um zu verstehen, wie S1 das kontextuelle Lernen umsetzt, müssen wir zuerst betrachten, wie traditionelle Roboter eine neue Fähigkeit erlernen.

In der traditionellen Pipeline ähnelt das Lernen von Robotern dem von großen Sprachmodellen:

Zuerst wird auf riesigen Datenmengen vortrainiert, um grundlegende Fähigkeiten zu erlernen; dann werden in spezifischen Szenarien Daten für bestimmte Aufgaben gesammelt, damit der Roboter durch Nachtraining spezielle Fähigkeiten erlernt.

Das Problem liegt aber darin: Obwohl Roboter und große Sprachmodelle einen ähnlichen Ablauf haben, sind ihre Datenkosten völlig unterschiedlich.

Die Vortrainingsdaten großer Sprachmodelle stammen größtenteils aus dem Internet; selbst in spezialisierten Szenarien wie Programmierung oder Agenten lassen sich viele Nachtrainingsdaten schnell online erhalten oder sogar automatisch generieren.

Roboter haben es da schwerer: Ihre Vortrainingsdaten müssen in der realen Welt erfasst werden, und auch die Nachtrainingsdaten müssen in der realen Welt gesammelt werden.

Daher hat Skild AI in seinem technischen Blog direkt darauf hingewiesen:

Wenn ein grundlegendes Robotermodell für jede neue Aufgabe immer noch Dutzende oder Hunderte Stunden an realen Maschinendaten benötigt und neu nachtrainiert werden muss, wo liegt dann die "Grundlage" dieses "grundlegenden Modells"?

Sie zitierten sogar vorhandene Studien, die darauf hinweisen, dass wenn genügend Daten für eine neue Aufgabe vorhanden sind, ein von Grund auf neu trainiertes Modell sogar das Niveau eines vortrainierten und dann feinabgestimmten grundlegenden Modells erreichen kann.

Also, was ist eigentlich der Sinn des Embodied Vortrainings?

Die Antwort von Skild lautet: Kontextuelles Lernen.

Als Referenzpunkt nutzt Skild die Entwicklungslinie großer Sprachmodelle als Vergleich.

Das frühe BERT war bereits sehr leistungsstark, aber bei jeder neuen Aufgabe mussten oft neue Daten vorbereitet und erneut feinabgestimmt werden.

Das, was das Spiel wirklich verändert hat, ist die Fähigkeit zum kontextuellen Lernen, die nach GPT-3 allmählich sichtbar wurde:

Ohne die Modellgewichte zu ändern, kann das Modell eine neue Aufgabe vorübergehend "erlernen", indem man nur einige Beispiele im Prompt angibt.

Auf dieser Grundlage glaubt Skild, dass Roboter derzeit noch in einem ähnlichen BERT-Zeitalter gefangen sind. Was sie wirklich wollen, ist, dass Roboter ebenfalls denselben Paradigmenwechsel vollziehen.

Das heißt: Der wahre Wert des Vortrainings sollte nicht nur darin liegen, weniger Daten für das Nachtraining zu sammeln, sondern dem Roboter schließlich die Fähigkeit zu verleihen, "direkt aus dem Kontext zu lernen".

Kontextuelles Lernen

Also, was hat S1 diesmal wirklich aus dem Kontext gelernt?

Skild ist der Meinung, dass es nur zwei Dimensionen gibt, die die Fähigkeit von Robotern zum kontextuellen Lernen wirklich prüfen können:

Einerseits die Fähigkeit, neue Fähigkeiten zu erlernen, die während des Trainings überhaupt nicht gesehen wurden; andererseits die Fähigkeit, vorhandene Fähigkeiten neu zu kombinieren, um eine sehr lange und komplexe neue Aufgabe zu erledigen.

Zum Beispiel kann der Roboter, nachdem er nur ein Video vom Wenden von Pfannkuchen angesehen hat, lernen, wie man Pfannkuchen zubereitet – selbst wenn diese Fähigkeit zuvor nie in seinen Trainingsdaten erschienen ist.

Gleichzeitig hat S1 im Vergleich zu den sekundenlangen Videos, die Gen-1.5 letzte Woche gezeigt hat, das kontextuelle Lernen direkt auf maximal 10 Minuten ausgedehnt.

Bei Aufgaben wie dem Umtopfen von Pflanzen muss jede Aufgabe Dutzende aufeinanderfolgende Betriebsschritte abschließen. Bei diesen Demonstrationen langwieriger Aufgaben muss der Roboter nicht nur nachahmen, sondern auch wissen:

In welchem Schritt ich mich gerade befinde, was der nächste Schritt ist, wie Fähigkeiten kombiniert werden und wie man weitermacht, wenn etwas schiefgeht.

Das heißt, der Roboter muss die Absicht der Aufgabe und der Aktionen in der Videodemonstration wirklich verstehen, um flexibel auf verschiedene Situationen reagieren zu können, anstatt nur das Verhalten zu klonen.

Darüber hinaus dauerte es bei der Umtopfen-Aufgabe von dem Start der Aufnahme der Demonstration bis zum selbstständigen Ausführen durch den Roboter nur 11 Minuten, was die Effizienz des traditionellen Nachtrainings bei weitem übertrifft.

Schließlich hat S1 während des gesamten Prozesses weder Fine-Tuning noch Post-Training verwendet. Die Modellgewichte blieben vollständig unverändert, und mit demselben Satz von Gewichten wurden alle im Blog gezeigten Aufgaben abgeschlossen.

Das entspricht im Wesentlichen dem Sprung großer Sprachmodelle von BERT, das ein spezifisches Szenario-Feintuning benötigt, zu GPT-3, das nur durch Betrachten von Demonstrationen OOD-Aufgaben erledigen kann.

Der einzige Unterschied besteht darin, dass der verwendete Prompt nicht mehr Sprache ist, sondern Aktionsvideos, die die nachgelagerten Aufgaben besser ausrichten können.

Experiment: Skaliert ICL tatsächlich besser?

Im Experimentteil verglich Skild zuerst ICL-Video-Prompts mit traditionellen sprachgestützten Prompt-VLA bei Aufgaben, die in den Trainingsdaten gesehen wurden, und bei Aufgaben, die nicht gesehen wurden.

Die Testergebnisse zeigen, dass bei einer Trainingsdatenmenge von nur 1000 Stunden der sprachgestützte Prompt besser funktioniert, aber mit zunehmender Datenmenge überholt ICL ihn.

Bei 100.000 Stunden liegt die Erfolgsrate bei Aufgaben, die während des Trainings gesehen wurden, bei 96 % für ICL und 89 % für sprachgestützte Prompts.

Bei den wirklich wichtigen OOD-Aufgaben liegt die Erfolgsrate von ICL bei 66 %, während die von sprachgestützten Prompts nur 9 % beträgt – ein Unterschied von mehr als dem Siebenfachen.

Um die Generalisierbarkeit von S1 zu überprüfen, führte Skild weitere Tests unter verschiedenen experimentellen Bedingungen durch.

Die Ergebnisse zeigen, dass der Leistungsabfall der sprachgestützten Prompt-VLA bis zum Dreifachen von ICL erreichen kann.

Das heißt, ICL lernt nicht nur Aktionen in festen Szenarien zu wiederholen, sondern ist besser in der Lage, die Vorgehensweise entsprechend der aktuellen Umgebung neu zu planen.

Schließlich im Bereich One-Shot-Learning:

S1 führt bei neuen Aufgaben überhaupt kein Post-Training durch, und nur durch das Ansehen einer einzigen Videodemonstration erreicht es eine Erfolgsrate von 66 %.

Im Vergleich dazu benötigt die traditionelle VLA etwa 380 Demonstrationen im Nachtraining, um das gleiche Niveau zu erreichen.

Natürlich kann das traditionelle Post-Training nach Erreichen von 2000 Demonstrationen schließlich eine Erfolgsrate von 86 % erreichen.

Daher lautet die Schlussfolgerung wahrscheinlich nicht "Roboter brauchen in Zukunft kein Training mehr", sondern:

Früher musste eine neue Fähigkeit hunderte Male geübt werden, jetzt reicht es, sie einmal zu sehen, um direkt eine Erfolgsrate von 60 bis 70 Prozent zu erreichen.

Das ist auch das sogenannte ICL-Scaling-Law von Skild:

Je mehr Daten vorhanden sind, desto mehr Fähigkeiten beherrscht das Modell nicht nur, sondern es wird immer besser darin, "Fähigkeiten aus Demonstrationen zu erlernen".

Wer ist Skild AI?

Skild wurde 2023 gegründet und wird von zwei bekannten Persönlichkeiten aus dem Robotik-Umfeld der CMU unterstützt: Deepak Pathak und Abhinav Gupta.