Warum widersetzt sich Zhang Yiming der Destillation?

Im Juli hielt das Seed-Team von ByteDance eine interne Sitzung ab. In der Sitzung wurde unter anderem der Grund für die Zusammenlegung von Volcano Engine, Doubao und Feishu erörtert: Nur durch die Bündelung von Kräften lassen sich Vorteile bei Rechenleistung und Daten erzielen.

Anfang August wurde eine noch wichtigere Information von zahlreichen Medien im In- und Ausland berichtet: Zhang Yiming, Gründer von ByteDance, sprach auf der Sitzung über „Modell-Distillation“ und lehnte diese ab.

In der Branche gilt die Modell-Distillation allgemein als eine Alternative zur Effizienzsteigerung. Durch das Lernen von führenden Modellen können kleinere Modelle Teile der Fähigkeiten in kürzerer Zeit erwerben, wodurch die Rechenkosten gesenkt und die Entwicklungszyklen verkürzt werden. Für Nachzügler ist dies eine technische Option mit schnellen Ergebnissen und niedrigen Kosten.

Die Distillation kann dem Modell helfen, ein bereits vorhandenes Ziel schneller zu erreichen, aber es ist schwierig zu beantworten, was außerhalb des Ziels liegt. Aus dem Inhalt der Sitzung geht hervor, dass ByteDance die Entscheidung des Seed-Teams über den Forschungs- und Entwicklungsweg für Grundmodelle klargestellt hat.

In den letzten sechs Monaten sind weltweit zahlreiche große KI-Modelle entstanden. ByteDance hat im Bereich der Multimodalität kontinuierlich investiert: Nach der Einführung des Videogenerierungsmodells Seedance löste es lebhafte Diskussionen auf dem Markt aus und beeinflusste den Bereich der KI-Videogenerierung nachhaltig stark. Im Bereich der Sprachmodelle haben Claude und Gemini aus Übersee die Obergrenze ständig angehoben, während DeepSeek, Zhipu AI und Moonshot AI im Inland in vertikalen Bereichen wie Schlussfolgerung und Code kontinuierlich iteriert haben.

Angesichts unbekannter Gebiete wählte Zhang Yiming dafür, dass Seed selbst nach Antworten sucht. Der Preis dafür ist mehr Rechenleistung, längere Trainingszyklen, eine große Anzahl von Experimenten, die möglicherweise keine Ergebnisse liefern, sowie die organisatorische Geduld, die für gewöhnliche Menschen verständlich ist. Eine solche Entscheidung spiegelt sich möglicherweise nicht sofort in den Ranglisten großer KI-Modelle wider, aber sie bestimmt, ob ein Unternehmen die Fähigkeit hat, in Orte vorzudringen, für die es keine fertigen Antworten gibt.

Wenn man sich umschaut: Die chinesische Branche für große Modelle hat sich bis heute entwickelt, und die Unterschiede in den technischen Wegen zwischen verschiedenen Unternehmen liegen möglicherweise genau hier. Die Situation von ByteDance unterscheidet sich besonders stark von der anderer Unternehmen für große Modelle.

Der Wettbewerb um Fähigkeiten hinter der Distillation

Die Einschränkungen von ByteDance für die Modell-Distillation sind gründlicher als die Außenwelt denkt.

Die Einschränkungen erstrecken sich auf das gesamte Ökosystem externer Modelle. Fortschrittliche geschlossene Modelle aus den USA dürfen nicht für die Distillation verwendet werden, und Open-Source-Modelle sind ebenfalls verboten. Um die Regeln wirklich in den Forschungs- und Entwicklungsabläufen umzusetzen, verstärkt ByteDance intern das Management unter anderem durch Erkennung von API-Aufrufen, um den Spielraum für Forschungs- und Entwicklungsteams zu verringern, ihre Fähigkeiten durch die Ausgabe externer Modelle zu verbessern.

Oberflächlich betrachtet ist Zhang Yimings Ablehnung der Distillation eine Entscheidung über einen technischen Weg. Betrachtet man die Entwicklungsphase von Seed, handelt es sich im Grunde um eine Wahl für den Forschungs- und Entwicklungsweg großer Modelle.

Zhang Yimings Urteil ist eindeutig. Das Training großer Modelle ist ein anspruchsvolles und langfristiges Projekt, und die Fähigkeiten des Modells müssen letztendlich auf der langfristigen Akkumulation von Vortraining, Daten, Algorithmen und Ingenieurssystemen beruhen. Auch wenn die Ergebnisse von Seed derzeit noch hinter dem weltweiten Spitzenniveau zurückbleiben, ist ByteDance bereit, die phasenweise Rückständigkeit zu ertragen und den Weg des unabhängigen Trainings vollständig zu gehen.

Diese Diskussion über die Distillation geht daher über die technischen Methoden selbst hinaus. Nachdem chinesische große Modelle sich allmählich dem weltweiten Spitzenniveau nähern, steht die Branche vor einer noch wichtigeren Frage: Wenn das Aufholen in tiefere Gewässer gelangt, worum wetteifern Unternehmen für große Modelle wirklich?

Um diese Meinungsverschiedenheit zu verstehen, muss man zuerst auf die spezifische Position der Modell-Distillation in der Industrie großer Modelle zurückkommen.

Die Modell-Distillation selbst ist eine ausgereifte Technik. Einfach ausgedrückt wird ein „Lehrermodell“ mit stärkeren Fähigkeiten verwendet, um ein kleineres „Schülermodell“ anzuleiten. Dadurch werden Parameter und Schlussfolgerungskosten stark gesenkt und gleichzeitig die Bereitstellungseffizienz des Modells verbessert. Heutzutage ist dies ein allgemeines Mittel der Branche zur Optimierung der Modellleistung.

Der Streitpunkt der Branche konzentriert sich tatsächlich auf eine andere Art von Verhalten: Die Schnittstellen geschlossener Modelle von Wettbewerbern werden genutzt, um Ausgabedaten durch groß angelegte Aufrufe zu erhalten, und diese Daten werden dann verwendet, um eigene Grundmodelle zu trainieren. Diese Vorgehensweise wird in der Branche üblicherweise als „Black-Box-Distillation“ von Modellen bezeichnet.

Die Attraktivität dieses Modells liegt auf der Hand. Für Teams mit begrenzten Ressourcen kann das direkte Aufrufen führender Modelle zur Generierung hochwertiger Proben enorme Kosten für die Datenerstellung einsparen, sodass neue Modelle bei harten Indikatoren wie Code, Mathematik und logischer Schlussfolgerung eine „Überholung in der Kurve“ erreichen können. Zuvor haben viele Open-Source-Gemeinden diese Übertragung der Ausgabe des „Lehrermodells“ genutzt, um die Leistung kleiner Modelle schnell zu verbessern.

Aber die Distillation weist von Natur aus die „Obergrenze des Lehrermodells“ auf. Der Wettbewerb um Grundmodelle ist letztendlich nicht nur ein Vergleich von Punktzahlen in Ranglisten, sondern eine umfassende Akkumulation von Datensystemen, Architekturevolution, Vortraining, Verstärkungslernen und Ingenieurfähigkeiten. Wenn die Trainingsdaten größtenteils aus Modellen von Konkurrenten stammen, kann man letztendlich nur die Fähigkeitsgrenzen der anderen Seite erlernen, und es ist schwierig, den eigentlichen Kern der Antriebskraft zu erfassen.

Für Unternehmen für große Modelle, die danach streben, in die weltweite erste Reihe einzudringen, ist die langfristige Abhängigkeit von der Ausgabe externer Modelle nichts anderes, als die eigene Obergrenze den Konkurrenten zu überlassen. Das tiefere Problem liegt in der langfristigen Entwicklung von Forschungs- und Entwicklungsorganisationen.

Der Wettbewerb um große Modelle ist im Wesentlichen ein Bauprojekt für technische Infrastruktur. Viele harte Fähigkeiten müssen in langfristiger unabhängiger Exploration entwickelt werden, beispielsweise qualitativ hochwertige Datenverwaltung, Optimierung von Trainingssystemen, Algorithmusinnovation und Design des Verstärkungslernens. Wenn sich das Team daran gewöhnt, externe Daten zur Erhöhung der Indikatoren zu verwenden, wird die Organisation sehr leicht zu einer Ingenieurtaktik reduziert, die sich nur um Datenfilterung und Feinabstimmungsoptimierung dreht, und verliert dann die Fähigkeit, die Gesetze der zugrunde liegenden Modelle zu erforschen.

Gleichzeitig ist die externe Modell-Distillation mit zunehmend schwerwiegenden kommerziellen und Compliance-Risiken konfrontiert. Große amerikanische Unternehmen für große Modelle haben nacheinander die Anomalieüberwachung von Produktschnittstellen aktualisiert und die Datenerfassung und das Modelltraining in den Dienstleistungsbedingungen eingeschränkt. Die Verwendung der Ausgabe von Konkurrentenmodellen zum Training eigener Produkte hat nicht nur Diskussionen über die Grenzen der Forschung und Entwicklung in der Branche ausgelöst, sondern auch viele Unsicherheiten bei der Einhaltung von geistigen Eigentumsrechten und Dienstleistungsbedingungen mit sich gebracht.

Ein Ereignis, das für Aufsehen sorgte, ereignete sich im Februar dieses Jahres: Anthropic beschuldigte DeepSeek, Moonshot AI und MiniMax, groß angelegte sogenannte „Distillationsangriffe“ mit Claude durchzuführen, und behauptete, dass sie über zehntausende Konten mehr als 16 Millionen Interaktionen erzeugt hätten. Im Juli, nachdem Moonshot AI das neue Modell Kimi K3 veröffentlicht hatte, wurde es ebenfalls schnell von amerikanischen Unternehmen beachtet und angeklagt. Das heißt, die Modell-Distillation entwickelt sich von einem rein technischen Problem zu einem Schwerpunktthema im Bereich geistiger Eigentumsrechte, Dienstleistungsbedingungen und des internationalen KI-Wettbewerbs.

Schließlich ist ByteDance ein großes Unternehmen, jede Bewegung von TikTok in den USA wird beobachtet, und es hat in den vergangenen Jahren strenge Untersuchungen durchlaufen. Die Compliance-Risiken, die es tragen kann, sind nicht mit denen gewöhnlicher Startup-Unternehmen vergleichbar. Zhang Yimings Vorsicht gegenüber der Distillation zu diesem Zeitpunkt bedeutet im Klartext: Lieber etwas langsamer und teurer voranzukommen, als den Gegnern den geringsten Anhaltspunkt in Bezug auf zugrunde liegende Urheberrechte und Compliance zu hinterlassen.

Da große amerikanische Unternehmen die API-Berechtigungen und das Audit-Risikomanagement ständig verschärfen, ist der technische Weg, der durch „Nutzung fremder Kräfte“ aufrechterhalten wird, mit mehr Unsicherheiten konfrontiert. Die Verringerung der Abhängigkeit von der externen Datenversorgung dient nicht nur der Bewältigung der aktuellen Compliance- und Rechtsrisiken, sondern ist auch eine vorausschauende Planung des Forschungs- und Entwicklungs systems von ByteDance für die zukünftige Teilnahme am globalen Marktwettbewerb.

Der organisatorische Mechanismus zur Erhaltung der Schöpferkraft

Zhang Yimings neues Urteil über den Weg großer Modelle verändert die Forschungs- und Entwicklungsweise des Seed-Teams.

Die Aufgabe der Abhängigkeit von der externen Modell-Distillation bedeutet, dass Seed eine höhere Unsicherheit tragen muss. Ohne reife Referenzen muss das Forschungs- und Entwicklungsteam selbst erforschen, wie Trainingsdaten erstellt werden, wie die Modellarchitektur angepasst wird und woher Fähigkeitsdurchbrüche kommen. Die Forschung und Entwicklung von Grundmodellen geht naturgemäß mit einer großen Anzahl fehlgeschlagener Experimente einher, was die Fähigkeit der Organisation auf die Probe stellt, langfristige Explorationen zu ertragen.

Ein groß angelegtes Vortraining dauert normalerweise mehrere Monate. Eine neue Richtung kann enorme Ressourcen erfordern, führt aber nicht sofort zu offensichtlichen Ergebnissen. Wenn das Bewertungssystem übermäßig von kurzfristigen Ranglisten und phasenweisen Ergebnissen abhängt, ist es für das Forschungsteam schwierig, unbekannte Wege kontinuierlich zu erforschen.

Kürzlich berichteten mehrere Medien, dass das Seed-Team von ByteDance die Forschung und Entwicklung eines sehr großen Grundmodells vorantreibt. Die Financial Times berichtete, dass ByteDance ein Modell trainiert, das möglicherweise Billionen von Parametern umfasst. Es befindet sich derzeit noch in der Forschungsphase, und der endgültige Parameterumfang sowie das Veröffentlichungsdatum sind noch nicht festgelegt.

Der groß angelegte Trainingsplan sendet ein klares Signal aus: ByteDance hofft, durch die Erweiterung des Vortrainingsraums nach Möglichkeiten zur Verbesserung der Modellfähigkeiten zu suchen. Die Exploration von Seed im Bereich der Videomodelle hat das Vertrauen von ByteDance in den zugrunde liegenden Trainingsweg stark gestärkt.

In diesem Februar hat ByteDance nacheinander das Videogenerierungsmodell Seedance 2.0 und das Bildgenerierungsmodell Seedream 5.0 Lite eingeführt. Die beiden visuellen Modelle wurden schnell in der Branche bekannt. Insbesondere Seedance 2.0 war in der Testphase in sozialen Medien im In- und Ausland weit verbreitet und wurde zu einem der am meisten diskutierten Videogenerierungsmodelle zu dieser Zeit.

Die Popularität wurde schnell in Einnahmen umgewandelt. Laut einem Bericht von 36Kr im Juni ist Seedance 2.0 bereits die wichtigste Wachstumsquelle für das MaaS-Geschäft von Volcano Engine und trägt mit mehr als 1 Milliarde Yuan pro Monat zum Umsatz bei. Volcano Engine hat im April auch das Umsatzziel für das MaaS-Geschäft im Jahr 2026 auf 15 Milliarden Yuan angehoben, während der gesamte MaaS-Umsatz im Jahr 2025 etwa 1,5 Milliarden Yuan betrug.

Nachdem der Wettbewerb um große Modelle in tiefere Gewässer gelangt ist, muss auch die Organisationsweise angepasst werden.

Seit langem treibt ByteDance Innovationen durch den Mechanismus des „Wettlaufens mehrerer Pferde“ in mehreren Bereichen voran: Mehrere kleine Teams suchen durch schnelles Ausprobieren nach Chancen und investieren dann Ressourcen entsprechend den Ergebnissen. Diese Methode eignet sich für den Produktwettbewerb auf der Ebene von Internetanwendungen, kann aber die Forschung und Entwicklung von Grundmodellen nicht vollständig anpassen. Ein Training erfordert den Verbrauch einer großen Menge an Rechenleistung, und die parallele Exploration in mehrere Richtungen führt zu erheblichem Ressourcendruck.

Daher erhöht Seed die Ressourcenkonzentration der Forschung und Entwicklung von Kernmodellen. Laut einem Bericht von LatePost integriert ByteDance die mit Codierung verbundenen Forschungs- und Entwicklungsressourcen und zieht technische Talente einschließlich der Forscher von DeepSeek an, um sich Seed anzuschließen und die Layout der entsprechenden Richtungen zu stärken.

Die organisatorische Fähigkeit wird zu einer wichtigen Variable im Wettbewerb um große Modelle. Die Forschung und Entwicklung von Grundmodellen umfasst mehrere Gliederungen wie Rechenleistung, Daten, Algorithmen und Talentsysteme. Kein einzelner Durchbruch kann das Endergebnis bestimmen. Das Forschungsteam muss sich langfristigen Investitionen stellen und auch die Unsicherheit tragen, die durch fehlgeschlagene Explorationen entsteht.

Gartner prognostiziert, dass bis 2028 etwa ein Drittel der Unternehmenssoftware über KI-Agent-Fähigkeiten verfügt und mehr als 60 % der generativen KI-Anwendungen über unternehmensweite KI-Plattformen bereitgestellt werden. Für kommerzielle Geschäfte wie Volcano Engine und Doubao bestimmen die Fähigkeiten der zugrunde liegenden Modelle den zukünftigen Wettbewerbsraum. Produkte auf der Anwendungsebene können schnell iteriert werden, während die Fähigkeiten der Grundmodelle langfristige Akkumulation erfordern.

Eigentlich ist Zhang Yimings grundlegendste Handlungslogik, den organisatorischen Mechanismus zur Erhaltung der Schöpferkraft zu bewahren. Aus dieser Perspektive zielen alle jüngsten Maßnahmen von ByteDance im Zusammenhang mit Modellen, Organisation und Forschungs- und Entwicklungs systemen auf dasselbe Ziel ab: Die Schlüsselvariablen, die technische Durchbrüche bestimmen, so weit wie möglich intern zu behalten.

Diese Denkweise ist sehr stark vom Plattform-Primitivismus geprägt. Die wichtigste Fähigkeit im Zeitalter der Plattformen ist die Kontrolle: Kontrolle über Algorithmen, Kontrolle über Datenströme, Kontrolle über Daten, Kontrolle über die Verteilung und auch Kontrolle über die Schlüsselknoten in der Wertschöpfungskette. Im Zeitalter der KI erstreckt sich diese Methodik weiter auf die Modellentwicklung. Modelle, Daten, Rechenleistung, Talente und Produkte müssen in dasselbe System eingebunden werden. Wenn ein wichtiges Glied langfristig von außen abhängig ist, schwächt es die gesamte Fähigkeit zur unabhängigen Evolution.

Daher ist das, worauf Zhang Yiming wirklich achtet, möglicherweise, dass die Forschungs- und Entwicklungsfähigkeit von externen technischen Wegen gelenkt wird. Die Distillation kann die Lücke verkleinern, und APIs können die Fähigkeiten schnell ergänzen, aber die langfristige Abhängigkeit von externer Antriebskraft lässt das interne Forschungs- und Entwicklungssystem von ByteDance allmählich die Fähigkeit verlieren, den nächsten