Es gibt immer mehr „Geistergeschichten“ rund um die verkörperte Datenerfassung.

Verkörperte Intelligenz leidet nicht einfach unter einem Mangel an Daten, sondern tritt in eine Phase ein, in der gültige Daten knapp sind. Gleichzeitig wird dies das Geschäftsmodell von Datenerfassungsunternehmen weiter umgestalten.

Die Geistergeschichten über die Datenerfassung für verkörperte Intelligenz werden immer häufiger.

Ein kürzlich in der Branche verbreiteter Fall lautet: Ein Unternehmen kauft Daten in großen Mengen ein, und die Hälfte seines Teams wird mit einer einzigen Aufgabe betraut: der Datenbereinigung. Nach fast anderthalb Monaten Arbeit lassen sich die Daten endlich in das Modell einspeisen und offiziell für das Training verwenden. Doch bei der anschließenden Berechnung ergibt sich, dass nur noch 10 % der Daten gültig sind. (Der sogenannte Gültigkeitsgrad gibt den Anteil der Daten an, die nach Bereinigung und Ausrichtung tatsächlich in das Training einfließen und eine positive Verbesserung der Modellfähigkeiten bewirken.)

Und das Modell, das mit diesen 10 % der Daten trainiert wurde, zeigt in einigen Szenarien sogar schlechtere Leistungen als zuvor.

Das Geld wurde für die gesamte Datenmenge gezahlt, aber nur ein Zehntel davon wird tatsächlich verwendet.

Dies ist eine reale Erfahrung der Branche im ersten Halbjahr dieses Jahres, einschließlich führender Unternehmen für die Datenerfassung für verkörperte Intelligenz. Die Öffentlichkeit neigt dazu, dies als „Datenbetrug“ einzustufen, aber wir sind der Ansicht, dass es nicht darum geht, wer wen betrogen hat. Es handelt sich vielmehr um eine echte Falle, in die die gesamte Branche geraten ist, nachdem sie den Wert des Datenumfangs überschätzt und die systematischen Kosten der Datenqualität unterschätzt hat.

In der heutigen Zeit, in der die Begeisterung für Daten rasant zunimmt, fehlt es der Branche nicht an allgemeinen Daten, sondern an gültigen Trainingsdaten, die die Fähigkeiten des Modells verbessern können. Diese Ansicht sollte zu einem neuen Konsens werden.

Wenn man nur auf die Beschaffung der Datenmenge setzt und die Systematik der Daten für das Modelltraining vernachlässigt, ist nicht jedes Modellunternehmen in der Lage, mit der riesigen Datenmenge umzugehen, selbst wenn es diese besitzt.

Die Anforderungen des Trainings von Modellen für verkörperte Intelligenz an die Anzahl der Rechenkarten und die Trainingsdauer haben sich ebenfalls von früher unterschieden: Ein führendes Modellunternehmen hat uns mitgeteilt, dass bei 100.000 Stunden an Daten und ausreichend verfügbaren Rechenkarten eine vollständige Trainingsrunde mehr als zwei Monate dauern kann. Dies übersteigt die Erwartungen vieler Unternehmen, die nicht so lange warten können.

Wenn wir den Irrglauben hinter der ausschließlichen Konzentration auf die „Datenmenge“ überwinden und zum Ausgangspunkt der Datenerfassung für verkörperte Intelligenz zurückkehren, sollten wir einige Fragen neu durchdenken:

• Welche hochwertigen Daten müssen für Modelle der verkörperten Intelligenz erfasst werden?
• Warum sind hochwertige Daten schwer in großem Maßstab verfügbar?
• Fehlt es der Branche wirklich an mehr Unternehmen, die Daten verkaufen?

Nur die Erfassung von Videodaten kann das nächste Generation von Modellen für verkörperte Intelligenz nicht unterstützen

In der Branche gibt es eine Schätzung unter technischen Leitern mehrerer Unternehmen: Um ein wirklich nutzbares Modell für verkörperte Intelligenz zu erstellen, werden etwa 1 bis 2 Millionen Stunden an Trainingsdaten benötigt.

Es ist hervorzuheben, dass dies eine Branchenbeurteilung ist, kein nachgewiesenes Gesetz. Aber es reicht aus, um zu erklären, warum der Wettbewerb um die schnelle Beschaffung von Daten im Umfang von Millionen Stunden im vergangenen Jahr so rasch zugenommen hat.

Um menschliche Betriebserfahrungen in großem Maßstab zu erfassen, hat die von UMI repräsentierte Erfassungsmethode ohne echten Roboter-Körper und im Freien zunehmende Aufmerksamkeit erlangt.

Der Kerngedanke dieser Lösung ist nicht kompliziert: Die Datenerfasser müssen nicht mehr neben dem Roboter stehen, sondern führen die Bedienung direkt in der realen Umgebung durch, wobei tragbare Geräte die Bewegungen und Umgebungsinformationen aufzeichnen.

UMI selbst verwendet eine Kombination aus handgehaltenen Greifern und visuellen Sensoren und wandelt menschliche Demonstrationen durch relative Trajektorien in Ausdrucksformen um, die der Roboter lernen kann. Sein Wert liegt genau darin, die Abhängigkeit der Datenerfassung vom echten Roboter-Körper zu verringern, sodass menschliche Betriebserfahrungen zu geringeren Kosten in die Trainingsphase einfließen können.

Das Problem beginnt genau hier.

Wenn die Branche die „großskalige Erfassung“ zum ersten Ziel erklärt, treten die Einschränkungen egozentrischer visueller Daten immer deutlicher zutage.

Die zugrundeliegende Logik der Datenerfassung für verkörperte Intelligenz besteht darin, die menschlichen Bewegungen so dicht und realistisch wie möglich zu beschreiben und den Prozess der Interaktion zwischen Mensch und physischer Welt originalgetreu zu erhalten.

Die hauptsächlich visuellen egozentrischen Daten scheinen viele Informationen aufzuzeichnen, tatsächlich erfassen sie aber zuerst die Beziehung zwischen Pixeln.

Sie können dem Modell sagen, was es gesehen hat, aber nicht unbedingt vollständig erklären, warum es sich so bewegt, wo der Kontakt stattfindet, welche Kraft ausgeübt wird und warum sich das Objekt so verhält.

Verdeckungen durch die Hand, räumliche Tiefe, Kontaktzustände, Kraft- und Tastsinn werden alle zu natürlichen blinden Flecken rein visueller Eingaben.

Das bedeutet nicht, dass visuelle Daten keinen Wert haben. Im Gegenteil, Arbeiten wie UMI haben bereits gezeigt, dass visuell dominierte menschliche Demonstrationsdaten dynamische, beidhändige, feine und lang andauernde Bedienungen erlernen können und in der Lage sind, in gewissem Maße auf neue Umgebungen und Objekte zu generalisieren.

Die eigentliche Frage lautet: Wenn sich Modelle für verkörperte Intelligenz weiter zu komplexeren und feineren physischen Interaktionen entwickeln, kann die einzelne visuelle Modalität dann alle Informationen abdecken, die das Modell wirklich benötigt?

Die Antwort wird immer klarer: Zumindest fehlt der verkörperten Intelligenz nicht an mehr Videodaten.

Die heutige Datenerfassung für verkörperte Intelligenz muss einen Wandel von der oberflächlichen Nachahmung von Pixeln hin zum Lernen grundlegender physikalischer Gesetze durchlaufen. Der Kern dieses Wandels lautet: Was sind eigentlich die hochwertigen Daten, mit denen Modelle für verkörperte Intelligenz gefüttert werden?

Beim Modelltraining sind wertvolle Daten nicht einfach Aufzeichnungen darüber, welche Aktionen stattgefunden haben, sondern Daten, die das Modell schließlich lehren, warum eine Aktion wirksam ist und unter welchen Bedingungen sie weiterhin wirksam bleibt.

Die herkömmliche UMI-artige Datenerfassung löst das Problem, wie man menschliche Demonstrationen zu geringen Kosten erhält. Aber wenn sich das Modell weiter zu höherwertigen physischen Interaktionen entwickelt, müssen die Daten selbst neue Dimensionen hinzufügen.

Hochwertige Daten für verkörperte Intelligenz in der Zukunft müssen drei Bedingungen gleichzeitig erfüllen: Hohe Wiedergabetreue, Multimodalität und Vielfalt. Diese drei Bedingungen stehen nicht einfach nebeneinander, sondern bilden einen sich stetig verengenden Filterprozess.

Es gibt nicht mehr viele Unternehmen, die hochwertige Daten liefern können;

Noch weniger Unternehmen können gleichzeitig multimodale Daten liefern;

Und noch weniger Unternehmen können gleichzeitig die Bedingungen hoher Qualität und Multimodalität erfüllen und dabei eine ausreichende Vielfalt beibehalten.

Zuerst die hohe Wiedergabetreue.

Die Ausdrucksform und die Genauigkeitsindikatoren der Daten sollten so nah wie möglich an den Dimensionen sein, in denen Menschen tatsächlich mit der physischen Welt interagieren.

Zum Beispiel ist die tatsächliche Kontaktfläche zwischen Mensch und Objekt die Haut, nicht die Knochen im menschlichen Körper.

Wenn das Erfassungssystem nur die Bewegung der Handknochen aufzeichnet, kann es beschreiben, wo sich die Hand befindet, aber nicht unbedingt genau angeben, wo zwischen Hand und Objekt physischer Kontakt besteht.

Das ist auch der Grund, warum die räumliche Geometriegenauigkeit der Hand immer wichtiger wird, wenn die Anforderungen von Modellen für verkörperte Intelligenz an feine Bedienungen steigen.

Einige Teams in der Branche versuchen derzeit, die Fehler bei der Handverfolgung weiter zu verringern, um die Kontaktbeziehung zwischen Mensch und Objekt genauer wiederherzustellen. Das genaue Fehlerniveau hängt von Sensoren, Verfolgungslösungen und Einsatzszenarien ab und lässt sich nicht einfach mit einer einzigen Zahl für die gesamte Branche zusammenfassen.

Als Nächstes die Multimodalität.

Der Wert multimodaler Daten liegt darin, das Modell von der reinen Beobachtung von Aktionen zu einem Verständnis der Interaktion zu führen.

Die Sprachmodalität kann semantische und Absichtsinformationen für lang andauernde Aufgaben liefern und dem Modell helfen, die Aufgabenlogik hinter aufeinanderfolgenden Aktionen zu verstehen. Modalitäten wie Tastsinn und Kraftsinn können Kontaktfeedback außerhalb des visuellen Bereichs liefern, was weitere Informationen für dynamische Generalisierung und feine Bedienungen bietet.

Das ist auch der Grund, warum sich die von UMI repräsentierte Erfassungsmethode ohne Roboter-Körper derzeit verändert:

Von einzelnen visuellen Trajektorien geht sie schrittweise zu einer Fusion multimodaler Informationen wie Visualität, Tastsinn und Sprache über.

Gleichzeitig entwickelt sich die Hardware von der lokalen Erfassung der Hand zu einer vollständigeren Perspektive der menschlichen Bedienung wie „Kopf + Hand“.

Schließlich die Vielfalt, denn Daten neigen sehr leicht dazu, „faul zu sein“.

Wenn die Vielfalt der erfassten Daten unzureichend ist, kann das Modell in 4 bis 5 bestimmten Aufgaben gute Leistungen zeigen, aber sobald man Umgebung, Objekt oder Bedienweise wechselt, verliert es schnell seine Gültigkeit.

Daher sind wirklich wertvolle Daten keine wiederholten Aufzeichnungen derselben Aktion, sondern Daten, die dem Modell genügend Aufgaben, Umgebungen, Objekte, Bedienweisen und Fehlerszenarien zeigen.

An den drei Dimensionen hohe Wiedergabetreue, Multimodalität und Vielfalt zu arbeiten, ist der unvermeidliche Weg für die Datenerfassung für verkörperte Intelligenz, um die Dominanz rein visueller Daten zu überwinden und in die nächste Phase einzutreten.

Nur wenn wir klären, welche hochwertigen Daten das Modell wirklich fehlen, können wir darüber sprechen, warum hochwertige Daten schwer zu beschaffen sind.

Warum lassen sich hohe Qualität und großem Maßstab nur schwer vereinbaren?

Nachdem die von UMI repräsentierte Erfassungsmethode ohne Roboter-Körper populär wurde, entstand eine neue Vorstellung.

Da man keinen echten Roboter-Körper benötigt und die Erfassung freigibt, können Daten dann nicht genauso schnell skaliert werden wie Internet-Texte?

Die Realität zeigt, dass es nicht so einfach ist.

Viele Menschen unterschätzen die Schwierigkeit der Erweiterung hochwertiger Daten für verkörperte Intelligenz, die die gesamte Kette von Datenerfassungsgeräten, Übertragung, Speicherung, Bereinigung, Annotation, Verwaltung bis hin zum endgültigen Einfügen in das Training umfasst.

Im Grunde hängt die Datenqualität von der Benutzerfreundlichkeit der Datenerfassungsgeräte ab.

Ein gutes Erfassungsgerät sollte die ursprüngliche Arbeit des Erfassers so wenig wie möglich beeinträchtigen. Im Idealfall sollte der Erfasser nicht einmal merken, dass er ein Datenerfassungsgerät trägt.

Dies ist die Voraussetzung für die Gewährleistung der Qualität der Rohdaten.

Stellen Sie sich vor, das Erfassungsgerät ist zu sperrig oder hat eine deutliche aufdringliche Wirkung, dann wird der Erfasser beginnen, seine Bewegungen anzupassen, um sich an das Gerät zu gewöhnen.

Diese durch das Gerät verzerrten, unnatürlichen Interaktionsdaten können das Modell schließlich dazu bringen, falsche Bedienweisen zu erlernen.

Gleichzeitig ist es eine Herausforderung für die großskalige Erfassung, wie man mit tragbaren Geräten gleichzeitig eine ausreichend hohe räumliche Genauigkeit und eine lange Betriebsdauer erreichen kann, ohne auf große Bewegungserfassungssysteme und Laserradar im Labor angewiesen zu sein.

Diese beiden Indikatoren behindern sich oft gegenseitig.

Je höher die Genauigkeit, desto höher die Anforderungen an Sensoren, Berechnung und Kalibrierung;

Je mehr Modalitäten, desto höher die Komplexität von Geräten, Synchronisation, Übertragung und Datenverwaltung;

Je komplexer das Gerät, desto wahrscheinlicher beeinträchtigt es die natürlichen Bewegungen des Erfassers.

Das ist der Grund, warum hochwertige Daten nicht einfach die Skalierungslogik von Internetdaten übernehmen können.

Einige hochgradig frei bewegliche, präzise Erfassungsgeräte weisen bei lang andauerndem praktischen Einsatz noch immer Probleme mit der Stabilität auf.

In Interviews haben Branchenvertreter uns einige extreme Fälle beschrieben: Geräte werden nach einer Weile Dauerbetrieb heiß, treten Fehler auf oder müssen sogar zwischendurch angehalten und gewartet werden.

Diese Probleme sind bei kleinskaliger Erfassung im Labor nicht offensichtlich.

Aber wenn die Datenerfassung von mehreren hundert Stunden auf zehntausende Stunden ausgeweitet wird, ist die Stabilität der Geräte nicht mehr nur ein Produktproblem, sondern wird direkt zu einem Geschäftsproblem.

Die hohe Ausfallrate der Geräte senkt nicht nur die Erfassungseffizienz, sondern verursacht auch zusätzliche Kosten für Hardware-Wartung, Austausch und Wartezeiten der Mitarbeiter.

Das wirklich Schwierige kommt noch danach.

Wenn das Datenvolumen weiter wächst, kommt es in der Erfassungskette selbst zu „Staus“.

Ein Unternehmen für verkörperte Intelligenz, das täglich eine große Menge an Daten erzeugt, muss jeden Schritt von der Erfassung über das Hochladen bis hin zur Speicherung, Extraktion, Qualitätskontrolle und Bereinigung gleichzeitig erweitern.

Je größer das Datenvolumen, desto größer der Druck auf Speicher und Bandbreite;

Je mehr Modalitäten, desto höher die Schwierigkeit der Synchronisation und Verwaltung;

Und sobald die Verarbeitungskapazität eines einzelnen Schrittes unzureichend ist, wird die Erfassungskapazität der vorherigen Schritte verschwendet.

Daher ist die echte Skalierung in der Datenerfassungsbranche nicht so einfach wie das Aufstellen von mehr Erfassungsgeräten.

Sie erfordert die gleichzeitige Erweiterung der gesamten Kette.

Besonders im Crowdsourcing- und Freiland-Erfassungsmodell, das von UMI repräsentiert wird, können Daten aus verschiedenen Regionen der Welt, verschiedenen Personen und verschiedenen Szenarien stammen.