Echte Workflows werden zu den Trainingsdaten der nächsten Generation.

Bei jüngsten Gesprächen mit verschiedenen KI-Laboren und Datenunternehmen stellen wir einen deutlichen Trend fest: Real-World-Daten, also Daten, die in den echten Arbeitsabläufen von Unternehmen entstehen, werden zu einer neuen Anforderung für das Training.

Im Vergleich zu den bereits umfassend genutzten Internetdaten stellen diese noch eine unerschlossene Lagerstätte dar, und die Goldgräber haben gerade erst mit der Erschließung begonnen.

Das Interessante an diesem Markt ist, dass Daten und die Fähigkeit zur Datennutzung genau an beiden Enden verteilt sind: Modellunternehmen sind in der Regel MLE (Machine Learning Engineer)-reich, aber datenarm. Unternehmen verhalten sich genau umgekehrt: datenreich, aber MLE-arm.

Vor diesem Trend haben wir beobachtet, dass auf dem Markt zwei Arten von Unternehmen entstanden sind, die zwei Seiten derselben Medaille in diesem Markt darstellen:

• Human Data Company: Sie bedient Modelllabore und liefert Daten.

• RLaaS (RL-as-a-Service) Company: Sie bedient Unternehmen und wandelt deren eigene Geschäftsprozesse in trainierbare Modellumgebungen um. Im Wesentlichen verkauft sie ausgelagerte MLE-Beratung, den Aufbau von Agent-Systemen und Post-Training-Dienstleistungen.

Dieser Artikel fasst 20 Lese- und Gesprächsnotizen zusammen, die wir kürzlich zu diesem Daten-Segment gesammelt haben, die fast ausschließlich Beobachtungen und Reflexionen von Praktikern aus der ersten Linie enthalten. Die spezifischen Referenzen sind am Ende des Artikels angehängt, um Ihnen die weiterführende Lektüre zu erleichtern.

01.

Der Datenmarkt ist ein Geschäft zum Wellenreiten

⁠1. Der Datenmarkt ist ein Geschäft zum Wellenreiten. Die Nachfrage nach Daten wird langfristig bestehen, aber jedes Mal, wenn eine Fähigkeitsgrenze durchbrochen wird, ändert sich Typ und Form der „wertvollsten Daten“, sodass die Akteure im gesamten Datenmarkt mit den Trainingsparadigmen der Modelle ständig neue Seiten aufschlagen.

⁠2. In den letzten Jahren hat jede neue Runde der Datennachfrage eine Reihe neuer Gewinner hervorgebracht. Scale AI nutzte die Gelegenheit zur Datenkennzeichnung für autonomes Fahren und frühe LLMs; Mercor, Surge AI und Handshake profitierten von der Welle der Experten-Daten; als sich das Training weiter zu echten Arbeitsabläufen verschob, tauchten neue Unternehmen wie Protege, Sunset und SF Data auf.

Gleichzeitig passen etablierte Akteure ihre Ausrichtung an die Bedürfnisse der Frontier-Labore an. Sowohl Mercor als auch Handshake sprechen in letzter Zeit über das Thema Unternehmensdaten, um sich für die nächste Welle vorzu positionieren.

⁠3. Die neue Welle: Real-World Data.

⁠In den letzten Jahren haben sich die Schwerpunkte der Budgets der Frontier-Labore von der Expertenkennzeichnung zu RL-Umgebungen verschoben, und heute richten sie ihre Aufmerksamkeit wieder auf Real-World-Daten.

⁠Der Kern Grund liegt darin, dass Long Horizon eine der wichtigsten Hauptrichtungen für den Fortschritt von Modellen ist. Die Einheit, in der Modelle Aufgaben bearbeiten, entwickelt sich von einer einzelnen Code-Änderung über eine Datei, eine Codebase hin zu einem gesamten Projekt.

⁠Je länger die Aufgabe dauert, desto schwieriger ist es, Umgebungen manuell zu erstellen. Echte Projekte sind voller historischer Zustände, Tool-Abhängigkeiten, Organisationsregeln und unerwarteter Verzweigungen. Diese Details lassen sich kaum von Experten in einem Sandkasten aus dem Nichts erfinden. Daher beginnen die Frontier-Labore, Daten aus der realen Welt einzukaufen.

⁠4. Der Daten- und RL-Markt ist bei weitem nicht gesättigt. Obwohl der Goldrausch in diesem Markt schnell an Fahrt gewinnt, hat das Angebot insgesamt die Nachfrage noch nicht überholt. Eine große Menge echter Büroarbeitsplätze, Unternehmensprozesse und Fachkenntnisse wurde bisher nicht in Daten umgewandelt, die Modelle lernen können, oder in Umgebungen, die wiederholt trainiert werden können. In Zukunft werden immer mehr Unternehmen entstehen, die sich um „Datenproduktion“ und „Umgebungsproduktion“ drehen, und es könnten sogar neue Zwischenschichtunternehmen (z. B. Vermittler für Unternehmensdaten, Expertennetzwerke) entstehen, die eine ausgereiftere Arbeitsteilung mit detaillierterer Spezialisierung bilden.

⁠02.

Wie man ein erfolgreiches Datenunternehmen aufbaut

⁠1. Nach der Herkunft lassen sich die Daten auf dem heutigen Markt in zwei Kategorien einteilen:

⁠• Typ 1: Daten, die aus echter Arbeit erfasst werden

⁠Es ähnelt eher einer „Aufzeichnung des Arbeitsprozesses“, z. B. Session Replay, Bildschirmoperationen, interne Kooperationsaufzeichnungen des Unternehmens. Die besten Typ-1-Daten zeichnen nicht nur Aktionen auf, sondern können auch die Absicht hinter den Aktionen wiederherstellen.

⁠GitHub ist zum Beispiel eine hervorragende Quelle für Typ-1-Daten. Commit-Messages, Issues und Ticket-Lösungen sind miteinander verknüpft und bewahren fast vollständig den gesamten Prozess eines Problems von seinem Auftauchen bis zur Lösung auf: Was eine Person lösen wollte, welche Änderungen sie ausprobiert hat, warum sie so geändert hat und ob die Änderung letztendlich akzeptiert wurde.

⁠• Typ 2: Künstlich erzeugte Daten

Das ist genau das, was die meisten Human-Data-Unternehmen heute tun: Sie suchen Fachexperten → entwerfen Aufgaben manuell → lassen sie die Arbeit in einer entworfenen Umgebung erledigen → sammeln die Ergebnisse → verarbeiten sie zu einem Format, das für das Modelltraining geeignet ist.

⁠2. Typ 2 eignet sich sehr gut für das Vortraining oder die anfängliche Fähigkeitsentwicklung. Aber wenn Modelle beginnen, Aufgaben mit längeren Ketten und höherem wirtschaftlichem Wert zu bearbeiten, werden Typ-1-Daten immer wichtiger.

⁠Aber reine Typ-1-Daten sind schwer zu erhalten. In der Praxis ist es praktikabler, zuerst eine Zwischenform von Typ 1.5 zu erreichen, d. h. Typ 2 so zu gestalten, dass er Typ 1 ähnelt. Dazu gehören in der Regel:

⁠• Langfristige Bindung einer kleinen Anzahl hochwertiger Experten und Vermittlung grundlegender Kenntnisse über Reward Shaping und die Logik des Modelltrainings an sie;

⁠• Neugestaltung des Anreizsystems: Menschen sind oft besser als Modelle im Reward Hacking, daher muss verhindert werden, dass menschliche Annotatoren Daten willkürlich markieren;

⁠• Gestaltung von mehrstufiger QA (Qualitätskontrolle). Das Betriebsteam führt QA für ausgelagerte Arbeiten durch, die ML-Ingenieure führen QA für das Betriebsteam durch. Vor der endgültigen Lieferung prüfen alle Personen aus verschiedenen Dimensionen. Reife Prüfmethoden werden schrittweise technisiert, einschließlich Anomalieerkennung, Verhaltensanalyse von Mitwirkenden und umgekehrte Prüfung der Datenqualität anhand der tatsächlichen Trainingsergebnisse.

⁠3. Bei der Gestaltung von Trainingsdaten ist die Hillclimbability (Fähigkeit zum schrittweisen Aufstieg) wirklich wichtig.

⁠Viele Unternehmen entwerfen Aufgaben nach folgender Logik: Solange ich eine Aufgabe erstelle, die das Modell nicht lösen kann, kann ich beweisen, dass es hier Chancen gibt. Aber das Problem ist, dass es nicht schwierig ist, eine Aufgabe zu entwerfen, die von Spitzenmodellen nicht gelöst werden kann. Das Schwierige ist, die Aufgabe genau an die Fähigkeitsgrenze des Modells anzupassen, sodass sie herausfordernd ist, aber trotzdem durch Training schrittweise verbessert werden kann.

Man kann sich zwei Szenarien vorstellen:

⁠• pass@1 = 0%, pass@32 = 30%.

Das bedeutet, dass das Modell die Aufgabe bei einem Versuch nicht richtig lösen kann, aber wenn es 32 Mal unabhängig erkunden darf, hat es eine Erfolgschance von 30%. Das beweist, dass das Modell gelegentlich den Erfolgsweg findet, aber noch nicht stabil ist. Diese Aufgabe liegt genau an der Fähigkeitsgrenze des Modells und hat einen hohen Trainingswert.

⁠• pass@1 = 0%, pass@256 = 0%.

Nach 256 Versuchen gibt es keinen einzigen Erfolg, was bedeutet, dass die Aufgabe weit über die aktuellen Fähigkeiten des Modells hinausgeht oder die Aufgabe selbst zu spezialisiert ist. Das ist in der Regel kein guter Trainings-Benchmark.

⁠4. Wenn man sich den heutigen Datenmarkt ansieht, gibt es noch vier Arten von Problemen:

• Datenverzerrung: Typ 2 wird oft als Typ 1 ausgegeben, der aus echter Arbeit stammt.

⁠• Eval-Verzerrung: Datenunternehmen entwerfen einige Evaluierungen, die nicht nah genug an der echten Arbeit sind. Wenn SOTA-Modelle einige Evaluierungen out-of-the-box gut durchführen können, erhöhen die Anbieter absichtlich den Schwierigkeitsgrad, um den Schein zu erwecken, dass „das Modell noch viel Verbesserungspotenzial hat“. Das funktioniert besonders gut, wenn die Forscher oder Einkäufer selbst keine Experten auf diesem Gebiet sind.

⁠• Nicht skalierbare QA: Viele Unternehmen behandeln QA als Betriebsproblem und lösen es durch mehr Personal und mehrere Ebenen manueller Prüfung. Aber QA ist im Wesentlichen ein technisches Problem – durch automatisierte Qualitätskontrolle, Datenverfolgung, Erstellung von Umgebungen und Bewertungssysteme wird die Qualität stabil in den Produktionsprozess integriert. Wenn das technische Team ständig mit einmaligen kundenspezifischen Anpassungen beschäftigt ist, wird es langfristig schwierig, wirklich skalierbare Datenfähigkeiten aufzubauen.

⁠• Verzerrte Informationsübermittlung bei Anforderungen: Manchmal können selbst Forscher ihre Datenanforderungen nicht klar genug formulieren oder gute Qualitätskontrolle durchführen. Wenn die Modelllabore jedoch intern ein eigenes Dateneinkaufsteam einrichten, fügen sie eine weitere Kommunikationsebene zwischen Forschern und externen Anbietern hinzu, sodass die Informationsübermittlung erneut an Genauigkeit verliert. Das ist auch der Grund, warum viele Labore ihre Dateneinkaufsbudgets direkt an die Forscher übergeben.

⁠5. Ob ein Datenlieferant das Vertrauen der Modelllabore gewinnen kann, hängt in der Regel von drei Fähigkeiten ab:

⁠• Data Taste: Ob man wirklich weiß, wie gute Daten aussehen, also die Fähigkeit, die Datenqualität zu beherrschen;

⁠• Research Taste: Man weiß, wo das Modell derzeit stecken bleibt und welche Art von Daten man für dieses Problem suchen muss;

⁠• Scalability: Ob man die gleiche Qualität auch bei steigendem Umfang beibehalten kann. Dieser Punkt wird leicht unterschätzt, da viele Unternehmen in der Demo-Phase die besten Experten einstellen, die Gründer die Projekte persönlich überwachen und viel manuelle QA hinzufügen, sodass die Lieferung in kleinem Maßstab sehr gut aussieht. Das bedeutet aber nicht, dass sie die gleiche Qualität 10-fach oder 100-fach reproduzieren können.

⁠6. Mit dem Anstieg des Goldrauschs im kleinen Kreis von San Francisco, der „RL-Umgebungen / Daten verkauft“, strömen immer mehr Gründer in diesen Markt, aber die Forscher in den Modelllaboren haben die Pitches dieser Unternehmen schon satt.

⁠Um heute wirklich das Vertrauen der Forscher zu gewinnen, muss man die oben genannten drei Fähigkeiten nachweisen. Die Nachweismethoden umfassen:

⁠• Veröffentlichung von Benchmarks und technischen Artikeln;

⁠• Training von Modellen mit eigenen Daten, um die tatsächliche Verbesserung zu zeigen;

⁠• Bereitstellung einer prüfbaren Data Lineage, die die Herkunft der Daten, den Bereinigungsprozess, die Qualifikationen der Experten und den QA-Mechanismus erläutert.

⁠7. Man kann die DNA eines Unternehmens grob an seiner Einstellungsstruktur beurteilen:

⁠Unternehmen, die stärker auf Typ 2 ausgerichtet sind, legen in der Regel mehr Wert auf Projektmanagement und Betrieb und stellen häufig SPL (Special Project Leads) ein. Im Wesentlichen nehmen sie ständig neue Aufträge an, erweitern das Team und führen kundenspezifische Lieferungen durch. Unternehmen, die wirklich zu Typ 1 wechseln wollen, stellen fast ausschließlich „Members of Technical Staff“ ein und konzentrieren sich auf Datentechnik, Umgebungstechnik und QA-Automatisierung.

⁠Erstere „verkaufen Arbeitskräfte“, Letztere „bauen Fabriken“.

⁠Da der Wert von Daten immer weiter zu Typ 1 verschiebt, bleibt für Typ 2 möglicherweise nur ein Zeitfenster von zwei Jahren.

⁠Wenn Sie also ein VC sind, sollten Sie kein Unternehmen investieren, das keinen Fahrplan für Typ 1 hat. Wenn Sie ein SPL sind, sollten Sie sich auch nicht langfristig an die Projektlieferung binden. Ihre Kontakte zu den Laboren sind wertvoll genug, also können Sie sich ein paar technische Fähigkeiten aneignen und als technisch ausgerichteter neuer Akteur auf den Markt kommen.

⁠03.

Wie sich RL ständig weiterentwickelt

⁠1. Was ist eigentlich eine RL-Umgebung?

⁠Eine RL-Umgebung kann als Software-Umgebung verstanden werden, in die ein Modell eintreten, Tools aufrufen, Aufgaben erledigen, geprüft werden und Belohnungen erhalten kann.

⁠Nehmen wir als Beispiel einen Agent für Vertriebsoperationen: Seine Umgebung kann simuliertes Salesforce, E-Mail, Kundendatenbank, Produktdokumentation, Genehmigungssysteme usw. enthalten.

Angenommen, wir geben dem Agent die Aufgabe: Die 20 Kunden mit dem höchsten Abwanderungsrisiko in den letzten drei Monaten zu finden und für jeden Kunden eine personalisierte Verlängerungs-E-Mail vorzubereiten

Um die Aufgabe zu erledigen, muss das Modell: Daten abfragen → die Kundenhistorie verstehen → das Abwanderungsrisiko beurteilen → das CRM aufrufen → eine E-Mail schreiben → ein Angebot erstellen → die Genehmigung einreichen.

Die Umgebung bewertet dann nach einer Reihe voreingestellter Regeln: Wurden die richtigen Kunden gefunden? Ist die Risikobeurteilung angemessen? Entspricht die E-Mail den Anforderungen? Ist das Angebot passend? Wurde die Aufgabe in angemessener Zeit erledigt?

⁠2. Ein deutlicher Trend ist, dass Umgebungen und Aufgaben von Agenten immer komplexer werden. Die vier wichtigsten Entwicklungsrichtungen sind:

⁠• Größerer Raum: Ein Agent erledigt nicht mehr alle Arbeiten in einem einzigen Sandkasten, sondern kann zwischen mehreren Umgebungen wechseln.

⁠• Flexiblere Tools: Zukünftig können Agenten möglicherweise direkt Tools aufrufen, deren Ausgabenergebnisse nicht feststehen. Zum Beispiel ist das „Suchwerkzeug“ in der Umgebung nicht unbedingt eine herkömmliche Such-API, sondern kann auch ein weiteres SOTA-Modell