Gerade wurde das weltweit erste offene API für Roboter-Gehirne freigegeben. Das Team von Nvidias DreamZero gründet ein Startup, mit Ge Yunhao als CTO.

Heute gibt das von dem DreamZero-Team gegründete Dream Labs offiziell seine Tarnung auf und gibt bekannt, dass eine Seed-Finanzierungsrunde in Höhe von 90 Millionen US-Dollar abgeschlossen wurde. Gleichzeitig wird die Dream API veröffentlicht: die weltweit erste für die Öffentlichkeit zugängliche Gehirn-API für Roboter.

Das bedeutet, dass jeder die Dream API in seinen eigenen Roboter integrieren kann. Mit nur Anweisungen in natürlicher Sprache generiert die Dream API die entsprechenden Motorsteuerbefehle, damit der Roboter Aufgaben ausführt. Noch wichtiger ist, dass sie sich auch an Roboter anpassen lässt, die während des Trainings nie gesehen wurden.

Derzeit haben sich mehr als 20 Hardware-Hersteller an der Zusammenarbeit beteiligt.

Dieses Team, das ursprünglich von NVIDIA stammt, hat im Februar dieses Jahres das World Action Model (WAM) vorgestellt, das heute zu den beliebtesten Entwicklungsrichtungen im Bereich der verkörperten Intelligenz gehört.

Hinter der Dream API steht das erste Modell von Dream Labs, Dream-1, das Roboter in Echtzeit und im geschlossenen Regelkreis steuern kann. Entwickler brauchen keinen Hintergrund im Bereich maschinelles Lernen, um diese Fähigkeit in ihren eigenen Roboter zu integrieren. Der Nutzungspreis beträgt nur 3 US-Dollar pro Stunde. Jeder kann die offizielle Website unter dreamlabs.ai besuchen, um es auszuprobieren.

Diese Finanzierungsrunde wird von B Capital angeführt, gefolgt von Kindred Ventures, A.Capital, Unusual Ventures, SV Angel, Wing VC, Scribble VC und Adrian Aoun usw.

Roboter fehlt ein universelles Gehirn

In den Fabriken der Welt laufen rekordverdächtige 5 Millionen Industrieroboter, aber fast jeder von ihnen ist nur für eine einzelne Aufgabe programmiert, und das Gelernte kann nicht auf andere Maschinen übertragen werden.

Gleichzeitig werden Roboterhardware schnell günstiger: Ein Zwei-Arm-Roboterarm kostet mindestens etwa 2000 US-Dollar, und es gibt immer mehr halbhumanoide Roboter unter 15.000 US-Dollar. Aber fast alle diese Roboter haben bei der Auslieferung kein "Gehirn". Einen Roboter eine Aufgabe beizubringen, dauert oft mehrere Monate für Experten; wechselt man die Aufgabe oder die Hardware, muss man von vorne anfangen.

Dass Chatbots so schnell populär werden konnten, liegt an einem universellen Modell, das jeder sofort nutzen kann, sobald er seinen Computer oder sein Handy öffnet. Nach Ansicht von Dream Labs brauchen Roboter einen solchen Moment auch. Günstige Hardware in Kombination mit einem Modell, das Null-Shot-Generalisierung ermöglicht, kann den Datenfluss in Gang setzen: Je früher Roboter nützlich werden, desto mehr Menschen werden sie nutzen, desto mehr Daten entstehen und desto besser wird das Modell weiterentwickelt.

Dream API: Für alle zugängliches Roboter-Gehirn

In der Vergangenheit musste man, wenn man ein Grundmodell für Roboter nutzen wollte, es selbst trainieren oder tief mit dem Hersteller zusammenarbeiten. Die Dream API ist die weltweit erste für die Öffentlichkeit zugängliche Grundmodell-API für Roboter: Entwickler können nach der Registrierung ihre Roboter an die API anschließen und sofort loslegen. Das Modell ist in mehreren Rechenzentren auf der ganzen Welt bereitgestellt, sodass Roboter überall schnell reagieren können.

Rund um die Dream API gibt es zwei weitere begleitende Dienste:

• Fine-Tuning (FaaS): Bei nicht unterstützter Hardware oder neuen Aufgaben können Entwickler und Roboterhersteller eine kleine Menge an Demonstrationsdaten einreichen und erhalten innerhalb weniger Stunden ein angepasstes Modell. Für einen neuen Roboter reicht eine 5-minütige Bewegungsbahn zur vollständigen Anpassung: Bei 10 von 12 an der Beta-Testphase teilnehmenden Partnerrobotern hat sich der Language-Following-Score verbessert.
• Robot Playground: Ohne selbst einen Roboter zu kaufen, kann man im Browser echten Robotern im Büro von Dream Labs in San Francisco Anweisungen erteilen und ihre Reaktionen in Echtzeit ohne Schnitt beobachten.

Was die Preise angeht, gibt es neben Dream-1 für 3 US-Dollar pro Stunde auch das schnellere und schlankere Dream-1-flash für 2 US-Dollar pro Stunde.

Ge Yunhao, Mitbegründer und CTO von Dream Labs, sagte: "So wie ChatGPT zum ersten Mal der Öffentlichkeit vorgestellt wurde, haben Roboter endlich die erste universelle Gehirn-API, die für die Öffentlichkeit zugänglich ist. Sie ist vielleicht noch nicht perfekt, aber jemand muss den ersten Schritt machen."

Dream-1: Aus Videos lernen, sich auf verschiedenste Roboter zu übertragen

Dream-1 kann auf Robotern unterschiedlicher Hersteller arbeiten. Es wird an Videos trainiert, in denen Menschen alltägliche Aufgaben erledigen, lernt vorherzusagen, was als Nächstes passieren wird, und entscheidet darauf basierend, welche Aktionen der Roboter ausführen soll. Da es aus Videos und nicht von einem einzelnen Roboter lernt, lassen sich die erlernten Fähigkeiten auf unterschiedliche Hardware übertragen: Für Zwei-Arm-Roboter mit Greifern funktioniert Dream-1 direkt out of the box mit Null-Shot-Anpassung.

Joel Jang, Mitbegründer und CEO von Dream Labs, verglich es mit einem Beispiel: "Wenn Sie in ein gemietetes Auto steigen, müssen Sie nicht neu fahren lernen. Sie finden die Bedienelemente, und Ihre bisherige Fahrerfahrung erledigt den Rest. Genau so verhält sich Dream-1 mit neuen Robotern: Ein neuer Roboter kann innerhalb weniger Minuten nützliche Arbeit verrichten, statt Monate zu brauchen."

Warum funktioniert die Übertragung auf unterschiedliche Roboter durch Lernen aus Videos? Ge Yunhao erklärte gegenüber QbitAI: "Das World Action Model lernt gleichzeitig, Videos und Aktionen vorherzusagen, sodass "einen Roboter steuern" und "sich vorstellen, was dieser Roboter als Nächstes tun wird" zu ein und demselben Problem werden. Aus der Perspektive der Kopfkamera ist jeder Roboter nur eine sich bewegende Form im Bild, und Videos sind die gemeinsame Darstellung für alle Roboter. Solange das Modell vorhersagen kann, wie ein neuer Roboter eine Aufgabe erledigt, kann es die Aktionen generieren, die den Roboter dorthin bringen."

Nie gesehene Roboter und nie gelehrte Aufgaben lassen sich auch mit Null-Shot-Anpassung bewältigen

Das Team hat Dream-1 in Simulationen an 27 Roboterarten getestet, die es nie zuvor gesehen hat, darunter Unitree R1, Baxter, Zwei-Arm-UR5e, ALOHA usw., wobei jede Art 300 Rollout-Durchläufe absolviert hat. Mit dem Leistungswert von YAM als 100 % erreichten 24 davon mehr als die Hälfte des Werts, wobei der höchste Wert bei dem Zwei-Arm-PiPER mit 91,2 % lag.

Auf echten Geräten hat Dream-1 ebenfalls ohne spezifische Roboterdaten verschiedene Partnerroboter wie den Metal Arm und Maker Arm von MakerMods, den reBot B601-DM von Seeed Studio, den OpenYAM von Anvil Robotics und den Vega von Dexmate mit Null-Shot-Methode gesteuert und Aufgaben wie das Stapeln von Handtüchern, das Schließen von Schubladen, das Aufhängen von Kopfhörern an Haken und das Einlegen von "Früchten, die keine Kiwis sind" in einen Korb erledigt.

Es kann auch in unbekannten Umgebungen nie gesehene Aufgaben erledigen. Beta-Testpartner haben Dream-1 an 9 Standorten weltweit eigenständig betrieben, darunter AGIBOT in Shanghai, BitRobot in Shenzhen, KAIST in Seoul, Hugging Face in Paris und Scale AI in San Francisco. Die Aufgaben reichten vom Einlegen von Schraubendrehern in Kisten, dem Falten von Kisten bis zum Sortieren von Werkzeugen in Aufbewahrungsboxen.

Derzeit bearbeitet Dream-1 hauptsächlich Desktop-Aufgaben wie Greifen und Platzieren von Objekten sowie das Falten von Kleidung. Zwei-Arm-Roboter mit parallelen Greifern können ohne zusätzliche Daten genutzt werden; für mehr als 20 Hardware-Partner wird Dream Labs das Modell für jeden einzelnen Roboter weiter optimieren. Diese Roboter kosten zwischen etwa 2000 und 10.000 US-Dollar.

Große Modelle können Roboter direkt steuern – braucht man dann noch ein separates Roboter-Gehirn?

Kürzlich wurden allgemeine große Modelle wie GPT-6 Astra direkt an Roboterarme angeschlossen, um Roboter bei der Arbeit zu steuern. Viele Menschen machen sich Sorgen: Werden speziell trainierte Grundmodelle für Roboter von großen Modellen abgelöst?

In dem RoboDojo-RC Tier 1-Benchmark, der von der unabhängigen dritten Bewertungsstelle Robocurve veröffentlicht wurde, erreichte Dream-1 einen durchschnittlichen Score von 59 % pro Aufgabenversuch, als erstes Modell, das die 50 %-Marke überschritt. Es liegt über den neuesten großen Modellen wie Claude Opus 5.5 (48 %), Gemini 4 Argon (48 %), GPT-6 Astra (47 %) und GPT-6.1 Sol (42 %) sowie über Roboter-Modellen wie MolmoAct2 (19 %) und GR00T N1.7 (10 %).

Nicht nur der Score ist höher, Dream-1 ist auch günstiger und schneller: Die Kosten pro Aufgabenversuch betragen etwa 0,15 US-Dollar. Im Vergleich zu Gemini 4 Argon, dem Modell mit dem zweithöchsten Score, ist der Score 1,2 Mal höher, die Kosten aber etwa 16 Mal niedriger. Die durchschnittliche Bearbeitungsdauer beträgt 1,4 Minuten. Im Vergleich zu dem schnellsten großen Modell GPT-6 Astra (ultrafast) ist der Score 1,3 Mal höher und die Geschwindigkeit 1,7 Mal schneller. Jede Modellkonfiguration wurde in der realen Welt 120 Mal getestet.

Vier Kernmitglieder von NVIDIAs GR00T

Die vier Mitbegründer stammen alle aus dem Roboterteam von NVIDIAs GR00T:

• Joel Jang (Mitbegründer und CEO): Leiter des World Model von NVIDIAs GR00T, hat LAPA, DreamGen, DreamDojo und DreamZero geleitet;
• Ge Yunhao (Mitbegründer und CTO): Leiter des Videomodells von NVIDIAs GR00T, hat an der Entwicklung der Cosmos-Weltgrundmodellreihe von NVIDIA (Predict, Transfer, Policy) mitgewirkt, mit Stationen an der Stanford University, der University of Southern California, bei Google und Microsoft;
• Scott Reed (Mitbegründer und Chefwissenschaftler): Gründungsmitglied des GEAR-Labors von NVIDIA, hat die Modellreihe GR00T N1 bis N1.7 geleitet; arbeitete zuvor 8 Jahre bei DeepMind, entwickelte Gato und Genie, hat mehr als 158.000 Zitationen bei Google Scholar;
• You Liang Tan (Mitbegründer und Chief Robot Officer): Leiter des Open-Source-Bereichs von NVIDIAs GR00T, hat an der Entwicklung von ROS 2, Octo, SERL und EgoScale mitgewirkt. Er ist ein Full-Stack-Experte für Roboter.

Dieses Team hat im Februar dieses Jahres, als es noch bei NVIDIA arbeitete, DreamZero veröffentlicht und erstmals das World Action Model (WAM) explizit vorgeschlagen. In den folgenden sechs Monaten wurde WAM schnell zu einer der beliebtesten Entwicklungsrichtungen im Bereich der verkörperten Intelligenz.

Das Überraschendste für das Team damals war: DreamZero nutzte nur 30 Minuten an Trainingsdaten des YAM-Roboters für das Nachtraining und generalisierte mit Null-Shot-Methode auf nie gesehene Aufgaben, wofür früher normalerweise Hunderte oder sogar Tausende von Stunden an spezifischen Roboterdaten benötigt wurden. Wenn 30 Minuten ausreichen, kann der Teufelskreis von Robotern, "die ohne Daten nutzlos sind und ohne Nutzung keine Daten erzeugen", durchbrochen werden. Daraufhin beschloss das Team, ein Unternehmen zu gründen. Sechs Monate später wurde Dream-1 vorgestellt.

Daisy Cai, General Partnerin bei der führenden Finanzierungspartei B Capital, sagte: "Ein funktionierender Roboterarm ist von dem Preis eines Luxusautos auf den Preis eines High-End-Laptops gefallen. Ihm fehlt jetzt nur noch die Intelligenz. Dieses Team hat bei NVIDIA bahnbrechende Arbeiten im Bereich des Roboterlernens geleistet, und jetzt kann jeder, der die Dream API erhält, darauf aufbauen."

Einschränkungen und nächste Schritte

Dream-1 befindet sich derzeit in einer Beta-Version für Forschungszwecke. Das Team hat seine Einschränkungen klar dargelegt:

• Die Leistung hängt von der Qualität des IK-Lösers jedes einzelnen Roboters ab;
• Es bestimmt nur, wo der Greifer am Ende ankommt, steuert aber nicht, wie der Arm dorthin gelangt, was in der Nähe von Hindernissen oder an den Grenzen der Gelenke zu Problemen führen kann;
• Bei Roboterarten, die sich stark von bereits gesehenen Robotern unterscheiden, kann es zu unausführbaren Aktionen kommen.

Joel Jang sagte: "Wir zeigen euch keine geschnittenen Demos, sondern ein wirklich nutzbares Modell, das ihr selbst testen könnt – auch mit allen seinen Fehlern."

Es gibt noch eine Lücke zwischen Null-Shot-Anpassung und Einmal-Anpassung. Ge Yunhao erklärte: "Was wir wirklich wollen, ist, dass selbst diese 5 Minuten nicht mehr benötigt werden. Die Lücke zwischen Null-Shot-Anpassung und Einmal-Anpassung ist unser wichtigstes Arbeitsthema für die Zukunft."