Das weltweit größte, Google Figure steht in der Schlange, um es zu erwerben, und dieses Team hat das angesagteste Roboterunternehmen im Silicon Valley auf die Beine gestellt.

Es lässt sich nicht mehr verbergen, diesmal ist es absolut unmöglich, es geheim zu halten!

Google DeepMind, Figure, 1X, Genesis AI, Dyna Robotics ……

Die angesagtesten Akteure im Robotik-Bereich im Silicon Valley haben alle denselben Datenlieferanten im Hintergrund.

Dyna-2 hat das Scaling Law bei 1 Million Stunden erreicht – und das ist ihm zu verdanken.

GENE-26.5 kann eine komplette Mahlzeit mit 20 Schritten zubereiten, und die dafür verwendeten Ego-Daten stammen ebenfalls von hier.

Um diese Top-Kunden zu gewinnen, reicht es offensichtlich nicht, nur „Datenerfassung“ zu beherrschen.

Dieses geheimnisvolle Unternehmen hat noch eine weitere, noch härtere Trumpfkarte in der Hand – starke Fähigkeiten in der Datenverarbeitung und bei Algorithmen.

Die schwierigsten Corner Cases in der Branche – Bilder, bei denen die Hand verdeckt ist, man transparente Handschuhe trägt oder die Bewegungen so schnell sind, dass sie verschwimmen – können in ihren Händen immer noch Frame für Frame neu extrahiert werden zu Material, das das Modell lernen kann.

Gerade weil die gesamte Kette aus Erfassung, Verarbeitung, Algorithmus und Lieferung vollständig durchgängig ist, kann es einen Bestand an hochwertigen Daten von 1,5 Millionen Stunden ansammeln und weltweit insgesamt Datenlieferungen im Umfang von 2 Millionen Stunden abschließen.

Schnelle Bewegungen + mehrere Hände im Bild – die Erkennung bleibt trotzdem stabil

Wer dieses Volumen erreicht, gilt praktisch als Dateninfrastruktur hinter den führenden Robotikunternehmen.

Jetzt lüftet dieses geheimnisvolle Unternehmen endlich sein Geheimnis – es ist Maxinsights!

Ein in Silicon Valley verwurzeltes Physical-AI-Team, dessen Top-Kunden fast alle in den USA ansässig sind und das erst im März dieses Jahres heimlich den Betrieb in China aufgenommen hat.

Sein Ziel ist es, menschliche Erfahrungen aus der realen Welt in großem Maßstab zu Treibstoff für das Training von Physical AI zu machen.

Tägliche menschliche Videos werden zur großen Lektion, die Physical AI nachholen muss

Damit stellt sich die Frage: Warum baut ein Datenunternehmen sein eigenes Modell? Und warum macht es das Modell so hochpräzise?

Die Antwort liegt an der Schwelle, die Physical AI überwinden muss, um in der realen Welt anzukommen.

Physical AI zu erklären, wie man Kleidung faltet, und es tatsächlich Kleidung falten zu lassen – dazwischen liegen unzählige Details.

Wo soll die Hand zupacken? Was tun, wenn der Saum des Kleidungsstücks gedrückt wird? Wie muss die nächste Bewegung angepasst werden, nachdem der Stoff verrutscht ist?

Diese Erfahrungen werden selten vollständig in Texten festgehalten. Dennoch nutzen Menschen sie jeden Tag.

Große Sprachmodelle können das Scaling Law umsetzen, weil das Internet bereits die Texte für sie gesammelt hat; auch visuelle Modelle erben Milliarden von fertigen Bildern.

Roboter hatten nie solche Bedingungen. Im Internet gibt es Milliarden Stunden an Videos, aber fast keines davon zeigt aus der „Perspektive der Hand“, wie Menschen arbeiten.

Und die Ego-Daten, auch Egocentric Data genannt, bieten eine Aufzeichnungsweise –

Aus der Perspektive des Bedieners wird aufgezeichnet, wie beide Hände mit Objekten interagieren und welche Veränderungen in der Umgebung vor und nach der Bewegung auftreten.

Sie macht das Lernmaterial näher an der eigentlichen Aufgabe.

In der Vergangenheit war die gängige Methode, Robotern das Arbeiten beizubringen, die Teleoperation: Eine Person trägt ein Gerät und steuert den Roboter ferngesteuert, um Tassen zu greifen oder Handtücher zu falten, und der Roboter zeichnet jede Bewegung auf.

Diese Daten sind von hoher Qualität, aber teuer und langsam: Ein Roboter produziert an einem Tag nur wenige Stunden an Daten, außerdem sind die Daten an einen bestimmten Roboter gebunden – bei einem neuen Roboter müssen die Daten neu erfasst werden.

Genau hier liegt der Wert der Ego-Daten.

Das Erfassungsgerät folgt dem Bediener, zeichnet die Szene auf, die er sieht, und den Interaktionsprozess zwischen seinen Händen und den Objekten.

Die betrieblichen Erfahrungen, die Menschen in Küchen, Werkbänken und Lebensräumen gesammelt haben, erhalten so die Möglichkeit, in das Trainingssystem aufgenommen zu werden.

Aber das Aufzeichnen ist nur der erste Schritt.

Videos sind noch keine Trainingsdaten

Nehmen wir ein Video, in dem eine Person in der Küche einen Flaschenverschluss abdreht: Ein Mensch erkennt auf einen Blick, was passiert.

Nach dem Eintritt in den Trainingsprozess muss es aber weiter zerlegt werden –

Welche Hand hält den Flaschenkörper, welche Hand beginnt zu drehen, in welchem Frame die Bewegung beginnt und in welchem sie endet, und wie sich das Handgelenk im Raum bewegt.

Wenn sich die beiden Hände kreuzen, die Finger vom Flaschenkörper verdeckt werden oder die Bewegung zu schnell ist und zu Unschärfe führt, wird die Beurteilung schwierig.

Ein einfaches Label wie „der Flaschenverschluss wird gerade abgedreht“ erklärt all diese Details nicht.

Was der Roboter braucht, sind strukturierte Daten, nicht nur ein Videoclip.

Worin liegt eigentlich die Stärke der Algorithmen von Maxinsights? Eine Demo, die das Team vorgestellt hat, zeigt drei Ebenen von Fähigkeiten in ein und derselben Datenkette.

Was löst diese Trumpfkarte von Algorithmen?

Zuerst zum Menschen: Kann die Bewegung auch dann verfolgt werden, wenn die Hand verdeckt ist?

Wenn Menschen in der realen Umgebung arbeiten, bewegt sich ihr Oberkörper ständig, und die Hände kreuzen sich oder werden von Objekten verdeckt. Das Trackingsystem muss aus den sich ständig ändernden Bildern die Körper- und Handhaltungen so genau wie möglich rekonstruieren.

Aber in der Videodemo bleibt die Genauigkeit des Algorithmus-Trackings auch unter solchen Bedingungen sehr hoch.

Dahinter steht die Extraktion von Hand- und Haltungsinformationen durch das selbst entwickelte MaxEgo – ein wichtiger Bestandteil dieser Verarbeitungsfähigkeit.

Das Tracking verdeckter Hände bleibt stabil

Das Schwierige ist: Die echten Arbeitsabläufe halten nicht beide Hände ständig vor der Kamera, um den Algorithmus zu erleichtern.

Bewegungen, bei denen die Finger beim Greifen von Objekten verdeckt werden, oder die Perspektive sich beim Umdrehen ändert, enthalten wertvolle Bewegungsinformationen. Je zuverlässiger das Tracking ist, desto wahrscheinlicher behält das nachfolgende Training diese Details bei.

Als Nächstes zum Raum: Kann das System den Ausgangspunkt wiederfinden, nachdem die Person eine Runde draußen gelaufen ist?

Hier wird SLAM auf die Probe gestellt – also die gleichzeitige Lokalisierung der eigenen Position und die Erstellung einer Karte der umgebenden Umgebung.

Wenn sich die aufzeichnende Person ständig bewegt, können sich Lokalisierungsfehler allmählich ansammeln. Obwohl die Person wieder am Ausgangspunkt angekommen ist, stimmt die vom System aufgezeichnete Trajektorie möglicherweise nicht mehr überein.

In dieser Demo schließt die Trajektorie nach dem Verlassen des Hauses und einer Runde um das Haus gut ab und richtet sich neu am Startpunkt aus.

Auf diese Weise erhalten die Handbewegungen einen vollständigeren räumlichen Kontext –

Wie sich die Hand bewegt, an welcher Position sich die Person befindet und die geometrischen Beziehungen der Umgebung können gemeinsam verstanden werden.

Dahinter steckt die harte Arbeit des Teams.

Das zentrale Ingenieursteam von Maxinsights besteht aus erfahrenen Fachkräften von Spitzenunternehmen wie Waymo, Google, Meta, QCraft sowie aus führenden Laboren der Stanford University und UC Berkeley, die größtenteils seit vielen Jahren im Bereich autonomes Fahren tätig sind.

Als eine Branche, die von riesigen Datenmengen angetrieben wird, verfügt das Team bereits über ausgereifte praktische Erfahrung in der Verwaltung und Iteration von Fahrzeugdaten im Umfang von Millionen.

Jetzt, wo sie auf Robotik umsteigen, bleiben die grundlegenden Ingenieurmethoden und Datenketten weiterhin perfekt beherrscht.

Schließlich zur Bewegung: Nachdem die Trajektorie verfolgt wurde, muss klar sein, was die Person tut.

In der Demo werden die Text-Labels von einem selbst entwickelten Videoverstehungs- und Labelmodell generiert, das die tatsächlichen Vorgänge relativ genau abbildet.

In dem Datensystem von Maxinsights werden diese Informationen nach Umgebung, Aufgabe, Teilaufgabe und Bewegungsanweisung hierarchisch organisiert.

Zum Beispiel kann eine Betriebssequenz in einem Hotelzimmer zerlegt werden in:

Hotelzimmer → Zimmer reinigen → Wasserkocher platzieren → den Wasserkocher mit beiden Händen auf den Tisch stellen.

Das verbindet die Bewegungstrajektorie mit der Bedeutung der Aufgabe: Das Modell erhält nicht nur Informationen darüber, wie sich Körper und Hände bewegen, sondern auch, welches Ziel diese Bewegungen verfolgen.

Wie sich der Körper bewegt, wie man sich im Raum bewegt und was man gerade tut – wenn diese drei Ebenen von Informationen zusammenkommen, erhält ein alltägliches Video einen vollständigeren Lernwert.

Je tiefer die Daten verarbeitet werden, desto reicher ist die Information, die das Modell aus den ursprünglichen Bildern lernen kann.

Laut internen Bewertungen sind die Schlüsselfehlerindikatoren bei schwierigen Fällen von MaxEgo 0.5 bis 1.0 um mehr als die Hälfte gesunken.

Die Unterstützung für die Algorithmus-Iteration sind mehr als 2 Milliarden Frames an menschlichen Haltungsdaten sowie ein Validierungssystem aus manuell korrigierten und hochpräzisen Referenzdaten.

Das erklärt auch, warum Datenakkumulation und Algorithmusfähigkeit sich gegenseitig fördern.

Neben Haltungstracking, räumlicher Lokalisierung und Bewegungsverstecken gibt es noch tieferliegende physikalische Informationen, die extrahiert werden können.

Gemäß der Reihenfolge von Maxinsights folgen darüber hinaus noch die Geometrie von Körper und Umgebung, die Pose von Objekten sowie die am schwierigsten zu messenden und wertvollsten Kontaktinformationen.

Deshalb schließt sich im Prozess von Maxinsights nach der Erfassung noch eine Qualitätsprüfung, Vereinheitlichung des Formats, Videoverstehung, räumliche Verarbeitung, Haltungstracking und manuelle Korrektur an, vor der Lieferung erfolgt eine weitere Prüfung und Formatumwandlung.

Zwei Modelle plus vier Phasen automatisierter QA sorgen dafür, dass 98 % der Qualitätsprüfung von Maschinen erledigt werden – Menschen bearbeiten nur den Teil, bei dem die Maschinen unsicher sind.

Die von Menschen korrigierten Stichproben fließen wieder zurück als Trainingsdaten für die nächste Version des Modells.

Das ist ein Schwungrad, das mit der Zeit immer besser funktioniert: Je mehr geliefert wird, desto genauer wird das Modell, desto günstiger wird das Labeln.

Das Handwerk von 5000 Menschen wird zum ersten Mal „digitalisiert“

Neben der Technologie ist etwas anderes bei Maxinsights noch schwerer zu kopieren –

Wie man mehr als 5000 Erfasser weltweit dazu bringt, kontinuierlich und ohne Wiederholungen das echte Leben aufzuzeichnen.

Maxinsights hat in mehreren Ländern direkt verwaltete Vor-Ort-Teams und Community-Netze aufgebaut, die mehr als 2000 Erfassungsumgebungen und über 50000 Szenarien abdecken, mit einer monatlichen Erfassungskapazität von 450.000 Stunden.

Der Betrieb wird über eine Agent-Plattform gesteuert:

• Sie überwacht die Datenverteilung: Wenn genug Daten aus Restaurantküchen vorliegen, aber nicht genug aus Werkstätten für Autoreparaturen, lenkt sie Geräte und Personal in die Lücken;
• Sie erkennt ungültige Clips, inszenierte Clips und Verschiebungen beim Tragen des Geräts;
• Sie sorgt dafür, dass die Szenarien alle zwei Wochen gewechselt werden, um zu verhindern, dass dasselbe Küchenbild so oft aufgenommen wird, bis das Modell es satt hat.

Wer sind die Erfasser?

Viele sind Hausfrauen, Restaurantköche, Werkstattarbeiter, Bauern, die verschiedene Früchte auf Farmen ernten, Ingenieure, die verschiedene Autos reparieren, Pflegekräfte, die ältere Menschen betreuen, und so weiter ……

Das Gefühl einer Hausfrau, das sie über Jahrzehnte beim