Das Großmodell mit 10 Billionen Parametern ist noch nicht in Sicht, ByteDance hat zuerst eine Abteilung der ersten Ebene eingerichtet.

ByteDance möchte bei Large Language Models den Rückstand aufholen, aber das bloße Stapeln von GPUs reicht dafür vermutlich nicht mehr aus.

Laut Berichten von Intelligent Emergence hat ByteDance kürzlich eine neue Abteilung auf erster Ebene namens „KI-Daten und Sicherheit“ gegründet, die parallel zu Abteilungen wie Seed, Flow und Douyin steht. Gleichzeitig wird Fu Yue, der bisherige Leiter der Abteilung für KI-Daten und Sicherheit, in Kürze das Unternehmen verlassen, und seine Position wird von Wang Yinglei, dem ehemaligen Leiter des Teams für Plattformverantwortung von TikTok, übernommen.

Betrachtet man diese Angelegenheit für sich allein, wirkt sie wie eine weitere gewöhnliche Organisationsanpassung bei ByteDance, aber der Zeitpunkt ist auffällig passend.

Vor kurzem berichtete die Financial Times unter Berufung auf drei mit der Angelegenheit vertraute Personen, dass ByteDance derzeit ein super KI-Modell mit einer maximalen Parametergröße von bis zu 10 Billionen vor trainiert, das sich noch in der frühen Phase befindet. Die endgültige Größe des Modells wird erst in der späteren Trainingsphase festgelegt. Wenn diese Größe am Ende erreicht wird, wird es eines der KI-Modelle mit der größten Parameteranzahl weltweit sein.

Im Vergleich zu den derzeit gängigen Large Language Models handelt es sich hier nicht mehr darum, das Modell einfach „etwas größer zu machen“, sondern weiter auf die Grenze des Scaling-Prinzips zu setzen.

Je größer das Modell ist, desto mehr als nur GPUs müssen dafür bereitgestellt werden.

01

Das Modell hat noch keine 10 Billionen Parameter

Aber die Datenabteilung wurde zuerst aufgewertet

Die neu gegründete Abteilung „KI-Daten und Sicherheit“ bei ByteDance ist keine aus dem Nichts entstandene neue Abteilung.

Laut Nachrichten von Intelligent Emergence ist einer der Vorläufer der neuen Abteilung Global Data, das 2023 von Fu Yue gegründet wurde. Dieses Team mit rund 100 Mitarbeitern diente ursprünglich internationalen Geschäftsbereichen wie Dola und TikTok und übernahm später schrittweise die Datenbeschaffung und Qualitätskontrolle für das Training des Seed-Modells.

Später, als das Geschäft von ByteDance im Bereich der Large Language Models immer weiter ausgebaut wurde, entstanden immer mehr Teams rund um das Thema Daten.

Neben Global Data haben die gruppenweite Datenplattform DMC, die KI-Datenplattform AIDP unter Flow sowie verschiedene Modellrichtungen innerhalb von Seed nach und nach ihre eigenen Datenteams aufgebaut. Sie dienen unterschiedlichen Zielen, aber ihre Tätigkeiten ähneln sich immer mehr: Daten beschaffen, Annotationen organisieren, Datensätze aufbauen und anschließend für die Bewertung und Qualitätskontrolle nach dem Modelltraining zuständig sein.

Das Ergebnis ist, dass bei ByteDance für die gleiche Aufgabe der Datenvorbereitung für Large Language Models allmählich mehrere parallele Teams entstanden sind.

Seit Anfang dieses Jahres hat ByteDance begonnen, dieses System neu zu ordnen. Die Datenteams, die ursprünglich auf verschiedene Geschäftsbereiche verteilt waren, wurden nach und nach zusammengefasst, um schließlich die neue Abteilung „KI-Daten und Sicherheit“ zu bilden, die direkt zu einer Abteilung auf erster Ebene aufgewertet wurde und parallel zu Seed, Flow, Douyin und anderen Abteilungen steht.

Aber angesichts der Anzahl der Mitarbeiter und des Geldes, die ByteDance in den Datenbereich investiert, kommt diese Aufwertung nicht überraschend. Wie Intelligent Emergence zuvor bekannt gab, verfügt allein das Datenbewertungsteam von Seedance über mehr als 1000 Mitarbeiter, wobei hinter jedem Algorithmen-Ingenieur in der Regel mehr als zehn Datenmitarbeiter stehen; in diesem Jahr hat das Datenbudget von ByteDance für Bereiche wie Weltmodell und Codierung bereits ein Volumen von mehreren zehn Millionen US-Dollar erreicht und kann weiter aufgestockt werden.

Dies ist nicht mehr das Geschäft, bei dem man früher einige Outsourcing-Unternehmen mit der Durchführung von Annotationen beauftragt hat. Von der Datenbeschaffung, -bereinigung und -synthese bis hin zu Modellbewertung und Qualitätskontrolle werden Daten zu einem Ingenieursprojekt, das ebenso wie Algorithmen und Rechenleistung separat organisiert und kontinuierlich investiert werden muss.

Noch wichtiger ist, dass ByteDance selbst einen Abkürzungsweg blockiert hat.

Am 5. August berichtete The Information, dass Zhang Yiming in einer etwa einen Monat zuvor abgehaltenen Vollversammlung der Seed-Mitarbeiter ausdrücklich dagegen ausgesprochen hat, durch die Destillation externer Modelle den Rückstand aufzuholen. Der Bericht zitiert mit der Angelegenheit vertraute Personen mit der Angabe, dass Zhang Yiming der Ansicht ist, ByteDance sollte bereit sein, „einige kurzfristige Vorteile für langfristige Ziele zu opfern“, und selbst wenn Seed phasenweise zurückliegt, sollte man nicht darauf zurückgreifen, die Lücke durch die Destillation von Konkurrentenmodellen zu schließen.

Einerseits strebt ByteDance nach Modellen mit 5 Billionen oder sogar 10 Billionen Parametern, andererseits will es nicht direkt die Ergebnisse von Modellen anderer übernehmen – also kann ByteDance nur selbst mehr „Lehrmaterialien“ vorbereiten.

Und mittlerweile ist die Suche nach diesen Lehrmaterialien nicht mehr nur das Problem von ByteDance allein.

02

Die Modelle werden immer größer

Aber die hochwertigen Daten reichen langsam nicht mehr aus

Das Problem, mit dem ByteDance konfrontiert ist, ist tatsächlich auch das Problem, dem alle Unternehmen für Large Language Models gegenüberstehen, die weiterhin am Scaling-Prinzip festhalten wollen.

In den vergangenen Jahren war die Methode zur Stärkung von Large Language Models einfach und direkt: mehr Parameter, mehr Rechenleistung und mehr Daten zuführen – aber diese drei Dinge sind nicht unbegrenzt verfügbar.

Im Jahr 2022 stellte DeepMind in der bekannten Chinchilla-Arbeit fest, dass, wenn man das Modell bei gegebener Rechenleistung umfassender trainieren möchte, nicht nur einer der beiden Faktoren Modellparameter und Trainings-Token erhöht werden darf. Nach der damals angegebenen Erfahrungsregel sollte bei einer Verdoppelung der Parametergröße die Menge der Trainingsdaten gleichzeitig entsprechend zunehmen.

Das Problem ist, dass man Parameter weiter stapeln und GPUs weiter kaufen kann, aber die hochwertigen, von Menschen im Internet geschriebenen Inhalte sind begrenzt.

Die Forschungsinstitution Epoch AI hat geschätzt, dass nach Berücksichtigung von Qualität und Wiederverwendung die weltweit verfügbaren öffentlichen menschlichen Texte etwa 300 Billionen Token entsprechen.

Nach der vergangenen Wachstumsgeschwindigkeit der Datenmenge für das Training von Large Language Models könnten diese Daten zwischen 2026 und 2032 vollständig genutzt werden; wenn Modelle zur Senkung der Inferenzkosten über einen längeren Zeitraum „übertrainiert“ werden, könnte dieser Zeitpunkt noch früher eintreten.

Das öffentliche Internet reicht nicht mehr aus, also müssen Unternehmen für Large Language Models außerhalb der bekannten Bereiche nach Daten suchen.

Die ersten Ziele sind Inhalte, die früher nur schwer in großem Umfang erfasst werden konnten oder überhaupt nicht kostenlos zugänglich sind. Foren, Nachrichtenwebsites, kostenpflichtige Publikationen, Fachdatenbanken und sogar physische Bücher ohne digitale Version werden nach und nach neu bewertet und mit Preisen versehen. So wird das Datenproblem, das früher mit Web-Crawlern gelöst wurde, zunehmend zu einem Beschaffungsgeschäft.

Im Jahr 2024 unterzeichnete Google mit Reddit einen Lizenzvertrag für Inhalte im Wert von etwa 60 Millionen US-Dollar pro Jahr, der für das Training von KI-Modellen verwendet wird; im selben Jahr schloss OpenAI eine mehrjährige Zusammenarbeit mit News Corp, um historische und aktuelle Inhalte von Medienmarken wie The Wall Street Journal und The Times in den nutzbaren Bereich einzubeziehen.

Aber das Kaufen fertiger Daten ist nur der erste Schritt.

Wenn die relativ standardisierten Inhalte wie Nachrichten und Foren auch von großen Technologieunternehmen aufgeteilt sind, müssen spezialisiertere und knappere Daten eigens in Auftrag gegeben werden. In Bereichen wie Code, Mathematik und Wissenschaft beginnen Unternehmen für Large Language Models direkt Ingenieure, Doktoren und Fachexperten für die Erstellung und Bewertung von Trainingsdaten einzustellen.

Darunter geht man sogar so weit, dass man die Daten nicht mehr einfach „kaufen“ kann – Anthropic hat schließlich direkt auf physische Bücher zurückgegriffen …

Im Januar dieses Jahres gab die Washington Post unter Berufung auf freigegebene Gerichtsunterlagen bekannt, dass Anthropic bereits 2024 ein internes Projekt mit dem Code-Namen „Project Panama“ gestartet hat. Und die Tätigkeit von Project Panama ist sehr einfach und direkt: Bücher kaufen, Buchrücken abschneiden, Bücher scannen.

Anthropic hat mehrere Millionen physische Bücher in großen Mengen gekauft, dann die Buchrücken mit hydraulischen Schneidgeräten direkt abgeschnitten, die aufgetrennten Seiten in Hochgeschwindigkeitsscanner eingeleitet, sie digitalisiert und anschließend die ursprünglichen Bücher recycelt. Etwa ein Jahr nach Projektstart hat Anthropic dafür mehrere zehn Millionen US-Dollar ausgegeben. In internen Dokumenten wurde das Ziel sogar formuliert, „alle Bücher der Welt zerstörerisch zu scannen“.

Noch erstaunlicher ist, dass Anthropic vor Project Panama bereits mehrere Millionen raubkopierte Bücher aus Schattenbibliotheken wie LibGen heruntergeladen hat – was der direkte Grund war, warum Anthropic später vor Gericht gestellt wurde.

Im Jahr 2025 stellte das Gericht fest, dass die Verwendung von Büchern zum Training von KI an sich eine faire Nutzung darstellen kann, aber das Verhalten von Anthropic, mehr als 7 Millionen raubkopierte Bücher zu speichern, um eine „zentrale Bibliothek“ aufzubauen, unterliegt dem Risiko von Urheberrechtsverletzungen. Um die Sammelklage zu beenden, stimmte Anthropic schließlich zu, 1,5 Milliarden US-Dollar als Vergleichszahlung zu zahlen; im Juli dieses Jahres genehmigte ein US-Bundesgericht diese Vereinbarung offiziell, die zu einem der größten bekannten Vergleichsbeträge in US-amerikanischen Urheberrechtsklagen geworden ist.

Aus dieser Perspektive wirkt die Vergleichszahlung von 1,5 Milliarden US-Dollar von Anthropic eher wie ein extrem überhöhter Preis für hochwertige Daten. Schließlich kann man Bücher kaufen, Urheberrechte kaufen und Experten bezahlen, aber hochwertige Daten, die noch nie von Modellen verwendet wurden, entstehen nicht einfach zusammen mit den Parametern aus dem Nichts.

Das ist derzeit auch das größte Problem von ByteDance. Auf der einen Seite steht der Plan für ein Modell mit bis zu 10 Billionen Parametern, auf der anderen Seite will man keine Abkürzung durch Destillation nehmen. Damit das Modell weiter skaliert werden kann, kommt man am Ende nicht um die einfachste Frage herum: Mit welchen Daten soll es gefüttert werden?

Selbst wenn das Modell mit 10 Billionen Parametern noch nur ein Plan ist, sind Daten bereits zu einem Geschäft geworden, in das ByteDance separat investieren muss.

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „foci Fokus“, Autor: Xiao En, veröffentlicht mit Genehmigung von 36Kr.