Was ist der Preis für Großmodellunternehmen ohne Destillation?
Text von Li Zhaofeng
Redaktion: Zhang Yuxin
„Eine normale Trainingspipeline sollte die Destillation als Kaltstart einsetzen, damit das Modell schnell 90 Punkte erreicht und dann die verbleibenden 10 Punkte löst.“ So äußerte sich ein Grundlagenmodellforscher zur Rolle der Destillation beim aktuellen Training von großen Sprachmodellen (LLMs).
Der von ihm genannte „Kaltstart“ bedeutet, dass ein Modell mit schwächeren Fähigkeiten zuerst die Antworten und Aufgabenverläufe lernt, die ein stärkeres Modell bereits erfolgreich durchlaufen hat, um so schnell wie möglich eine Basisversion zu erhalten, die weiter trainiert werden kann.
Für Modellentwickler bedeutet „keine Destillation“, diesen Beschleunigungsprozess aufzugeben und die Erkundung von Grund auf selbst durchzuführen. Der Vorteil dieses Vorgehens besteht darin, ein unabhängigeres Trainingssystem zu besitzen, aber es erfordert auch eine längere Iterationszeit des Modells.
Wie die Publikation *Intelligente Emergenz* zuvor berichtete, hat ByteDance bei der Gründung von Seed das Prinzip festgelegt, „keine Destillation durchzuführen“. Ein Mitarbeiter von ByteDance erklärte, dass das Team die globale Spitzenklasse erreichen wolle, was „durch Destillation kaum möglich sei“. Zhang Yiming betonte auf einer internen Sitzung von Seed Ende Juli ausdrücklich, dass ByteDance, selbst wenn es vorübergehend hinter inländischen Konkurrenten zurückbleibt, die Destillation nicht als Abkürzung zur Verbesserung der Modellfähigkeiten nutzen werde.
Diese Äußerung zur „Nicht-Destillation“ ist nicht nur eine technische Entscheidung bezüglich der Trainingsmethode, sondern eine Wahl für einen langfristigen Weg.
Auf der anderen Seite äußerte Jensen Huang, CEO von Nvidia, eine Woche vor Zhang Yimings Erklärung zur „Nicht-Destillation“ in einem Interview mit Mike Allen, Mitbegründer von Axios, eine völlig entgegengesetzte Ansicht: „Destillation, also das Lernen von KI und anderen Wissensquellen, ist die Grundlage der Intelligenz.“
Wenige Tage nach Ende dieses Interviews leitete Huang einen offenen Brief für offene Modelle weiter, der von Unternehmen wie Nvidia, Meta, Microsoft und Dell unterstützt wurde. Der Brief plädiert für den Aufbau eines Ökosystems offener Modelle, das in allen Branchen Anwendung findet, und listet die Destillation als eine weit verbreitete Methode bei der Verbesserung, Prüfung und Validierung von Modellen auf.
Soll man nun destillieren? Was sind die Kosten und Vorteile der Nicht-Destillation? *Intelligente Emergenz* hat mit mehreren Forschern für große Sprachmodelle über diese Fragen gesprochen.
01 Wie viel Zeit kostet die Nicht-Destillation?
„Nicht genügend Daten, nicht genügend Rechenleistung und fehlende entsprechende Pipelines.“ So beschrieb ein Forscher die Situation inländischer Grundlagenmodellteams im Vergleich zu führenden ausländischen Herstellern. Seiner Meinung nach besteht bei der inländischen Vortrainierung nach wie vor eine Lücke zur Spitzenforschung in Nordamerika, die aber nicht mehr so groß ist wie in der Anfangsphase. Die größere Lücke liegt in der Nachtrainingsphase und bei qualitativ hochwertigen Daten.
Die Destillationstechnik ist genau ein wirksames Mittel, das Herstellern von Grundmodellen hilft, die genannten „Schwachstellen“ schnell zu beheben und so die Iterationszyklen des Modells zu verkürzen.
Muss ByteDance, das sich für die Nicht-Destillation entschieden hat, diese Probleme nicht bewältigen? Das ist in Wirklichkeit nicht der Fall. Ende Juli rang die neueste Generation von ByteDances Grundmodell Seed-2.1 Pro auf Platz 16 der Gesamtwertung von Code Arena WebDev, hinter Kimi K3 auf Platz 2 und GLM-5.2 auf Platz 6.
Während des Austauschs sind mehrere Forscher der Meinung, dass „vollständige Nicht-Destillation sicherlich viel langsamer ist. Es scheint unrealistisch, die Fähigkeiten im Codieren und bei Agenten kurzfristig ohne Destillation auf ein branchenführendes Niveau zu bringen.“
Der Zeitdruck bei der Verbesserung der Modellfähigkeiten ergibt sich aus dem Daten-Flywheel. Erst wenn das Modell ein nutzbares Niveau erreicht, gelangt es in die echte Entwicklungsumgebung. Fähigkeiten führen zu Nutzung, Nutzung erzeugt Rückflussdaten, und die Rückflussdaten fließen wieder in die nächste Trainingsrunde ein.
Zuvor teilte ein Mitarbeiter von ByteDance *Intelligente Emergenz* mit, dass einer der Gründe, warum das Codierungsmodell zuvor kaum Fortschritte machen konnte, genau der unzureichende Wille zur geschäftlichen Nutzung und das Fehlen ausreichender Rückflussdaten war.
„Wenn der erste Schritt des Kaltstarts nicht gelingt, kann die nachfolgende Pipeline nicht in Gang kommen“, sagte ein befragter Forscher. Er beschrieb diesen Prozess mit dem Begriff „Matthäus-Effekt“: Nutzer neigen dazu, das Modell mit den stärksten Fähigkeiten zu wählen. Mehr Nutzung führt wiederum zu mehr echten Aufgaben und Rückflussdaten, was die Iterationslücke zwischen den Modellen weiter vergrößert.
Agentenaufgaben vergrößern diesen Zeitunterschied noch weiter. In aktuellen Agenten-Szenarien erfordern mehrstufige Tool-Aufrufe, dass das Modell kontinuierlich plant, ausführt und Fehler korrigiert. Sobald ein vorheriger Schritt abweicht, können sich Fehler entlang der Aufgabenkette ständig ansammeln. Es ist normalerweise langsamer, wenn ein Modell einen erfolgreichen Weg von Grund auf erkundet, als wenn es direkt einen bereits erfolgreich durchlaufenen Prozess lernt.
Aber der durch die „Nicht-Destillation“ verursachte Druck ist nicht bei allen Fähigkeitsbereichen gleich. Im Gegensatz zu Seed, das im LLM-Bereich nicht in die inländische Top-Gruppe vorgestoßen ist, hat ByteDance im Bereich der Videogenerierung bereits die globale Spitzenklasse erreicht.
Mehrere Branchenkenner bezeichnen den Erfolg von Seedance als „einen Sieg der Daten“. Eine Person mit Nähe zu ByteDance teilte *Intelligente Emergenz* mit, dass die Videotrainings-Pipeline von Seedance keine Destillation externer Modelle verwendet. Selbst die VLM-Modelle, die für Datenfilterung, Verständnis und andere Schritte eingesetzt werden, nutzen keine Ausgaben anderer Modelle als Destillationsquelle.
Die Videogenerierung unterscheidet sich von Sprachmodellen: KI-generierte Videos weisen noch leicht erkennbare „KI-Eigenschaften“ auf. Inhalte, die von externen Modellen erzeugt werden, können qualitativ hochwertige echte Videodaten kaum direkt ersetzen, und der Nutzen der Destillation ist relativ begrenzt.
Auf der Videogenerierungsplattform ist ByteDance dank seiner Akkumulation an Daten, Architektur und Produkten bereits an die Spitze vorgedrungen, ohne auf die Destillation externer Modelle zurückzugreifen. Auf den Gebieten Codierung und Agenten muss es die Fähigkeitslücke so schnell wie möglich schließen, um mehr echte Nutzung und Rückflussdaten zu erhalten. Das gleiche Prinzip der „Nicht-Destillation“ führt bei verschiedenen Fähigkeitsbereichen zu unterschiedlichen Zeitkosten.
Im LLM-Bereich, während andere Unternehmen für große Modelle mittels Destillation den Kaltstart abschließen und früh in echte Szenarien eintreten, muss ByteDance, das an der Nicht-Destillation festhält, einen längeren Trainingszyklus durchlaufen, um zu überprüfen, ob dieses selbst aufgebaute Datensystem zu führenden Fähigkeiten umgewandelt werden kann.
Dies erklärt auch, warum ByteDance kürzlich die Abteilung der ersten Ebene „KI-Daten und Sicherheit“ gegründet hat, die den großen Sprachmodellen des Unternehmens Dienstleistungen wie Quellenbeschaffung, synthetische Bereinigung und Qualitätsbewertung bietet – neben Modellen und Produkten muss ByteDance die Datenfähigkeit als unabhängige organisatorische Säule aufbauen, um sein eigenes Trainingssystem zu stützen.
02 Vorteile und Kosten der Destillation
Das klassische Paradigma der modernen Wissensdestillation geht auf den 2015 von Hinton, dem Preisträger des Turing-Preises und Pionier des Deep Learning, und anderen veröffentlichten Artikel *Wissensdestillation in neuronalen Netzen* zurück. In dem Papier wird vorgeschlagen, dass ein kleineres „Schülermodell“ die Ausgabeverteilung eines großen „Lehrermodells“ lernt, um dessen Fähigkeiten zu geringeren Kosten zu übernehmen.
Zum Beispiel verkleinerte das 2019 veröffentlichte DistilBERT BERT um 40 %, behielt 97 % der Sprachverständnisfähigkeit bei und beschleunigte die Inferenz um 60 %. Zu dieser Zeit löste die Destillation hauptsächlich das Problem, dass Modelle zu groß und die Bereitstellung zu teuer waren.
Nach dem Aufkommen der generativen KI wurden die Antworten, Erklärungen und Aufgabenverläufe, die von stärkeren Modellen erzeugt wurden, auch direkt für das Training anderer Modelle verwendet. Im März 2023 erzeugte das Team der Stanford-Universität mit dem OpenAI-Modell 52.000 Anweisungsdaten und trainierte Alpaca mit Datenkosten von weniger als 500 US-Dollar. Im selben Jahr ließ Microsoft das 13-Milliarden-Parameter-Modell Orca die Erklärungsverläufe von GPT-4 lernen, sodass es bei komplexen Zero-Shot-Schlussfolgerungen von Big-Bench Hard ein Niveau erreichte, das mit ChatGPT vergleichbar ist.
Streng genommen ist die Nutzung von Daten, die von einem „Lehrermodell“ erzeugt werden, für das überwachte Feintuning nicht gleichbedeutend mit der traditionellen Wissensdestillation. Aber im Kontext der Branche für große Modelle wird dieser Ansatz, „ein Modell mit den Ausgaben eines stärkeren Modells zu trainieren“, auch unter die weit gefasste Destillation eingeordnet. Bei der Veröffentlichung von Llama 3.1 405B im Jahr 2024 nannte Meta-CEO Mark Zuckerberg die Destillation von kleinen Modellen bereits eine wichtige Anwendung des offenen Flaggschiffmodells. Gleichzeitig nahm Meta die Generierung synthetischer Daten in den Hauptarbeitsablauf dieses Modells auf.
Bis 2026 wird die Destillation bereits ausgereift bei der Zusammenführung von Modellfähigkeiten eingesetzt. Aus dem technischen Bericht von DeepSeek V4 geht hervor, dass das Team zuerst mehr als zehn Expertenmodelle für Mathematik, Codierung, Agenten und andere Bereiche mittels überwachtem Feintuning und Verstärkungslernen trainiert hat. Danach ließ es das allgemeine Modell die Ausgabeverteilungen aller Experten auf selbst abgetasteten Verläufen lernen, um die Fähigkeiten mittels Multi-Lehrer-Online-Strategiedestillation zu vereinen.
Auch Kimi K3 hat die Destillation in den Hauptablauf des Nachtrainings integriert. Sein technischer Bericht zeigt, dass das Team um allgemeine Schlussfolgerungen, Codierungs- und Agentenaufgaben sowie drei Denkintensitätsstufen (low, high, max) neun Lehrermodelle gebildet hat, die dann mittels Multi-Lehrer-Online-Strategiedestillation in einem einzigen Modell zusammengefasst werden.
„Letztendlich ist die Destillation eine Methode zur Datenerstellung“, so beschrieb ein Forscher ihre Vorteile: Im Vergleich zum Aufbau einer synthetischen Datenpipeline von Grund auf mit wiederholten Versuchen oder zur Organisation von Expertenannotationen für komplexe Aufgaben kann das Generieren von Antworten und Betriebsverläufen durch ein stärkeres Modell das Modell normalerweise schneller an einen nutzbaren Ausgangspunkt bringen.
Dieser Vorteil zeigt sich besonders direkt beim Training von Agenten. Letzte Woche ergab eine Studie des Forschungsteams des Korea Advanced Institute of Science and Technology, dass die Extraktion von Aufgabenabläufen, Teilaufgabenbeispielen und Erfahrungen mit Tool-Aufrufen aus den erfolgreichen Verläufen von GPT-5-mini die Aufgaben Genauigkeit von Modellen mit 4B bis 8B Parametern in drei Benchmarks für Tool-Nutzung verbessert.
Die Destillation kann auch das teurere Verstärkungslernen für schwierige Probleme reservieren. „Bei etwas einfacheren Problemen reicht eine direkte Destillation aus. Es ist nicht notwendig, das Modell mittels Verstärkungslernen erkunden zu lassen, was viele Ressourcen verschwendet“, sagte ein Forscher.
Das von Apples Forschungsteam 2025 veröffentlichte „Destillations-Skalengesetz“ berechnete diese Kosten: Wenn das Lehrermodell bereits existiert oder mehrere Schülermodelle wiederholt trainiert werden müssen, spart die Destillation normalerweise Rechenleistung. Wenn nur ein einziges Schülermodell trainiert werden soll und dazu noch ein Lehrermodell von Grund auf trainiert werden muss, ist das direkte Training oft wirtschaftlicher.
Die Destillation spart Zeit bei der Suche nach Antworten, kann aber Modellentwicklern nicht die Entscheidung abnehmen, welche Probleme sie lösen sollen.
„Die Destillation ist im Grunde nicht kompliziert: Man lässt ein stärkeres Modell eine Aufgabe durchlaufen und wandelt dann den Verlauf in ein Trainingsformat um“, sagte ein Forscher. Im Vergleich dazu „liegt die Schwierigkeit bei der Erstellung der Aufgaben“: Die Aufgaben können aus Web-Crawls stammen, von Experten bereitgestellt werden oder vom Team selbst erstellt werden.
Die Vorteile der Destillation sind Zeit und Rechenleistung, aber diese Effizienz hat auch ihren Preis. Viele Forscher teilten *Intelligente Emergenz* mit, dass die Destillation normalerweise dazu verwendet wird, das Modell so schnell wie möglich über die Nutzbarkeitsschwelle zu heben. Wenn mehrere Modelle einen ähnlichen Ausgangspunkt erreichen, hängt die weitere Verbesserung nicht unbedingt noch von der Destillation ab. „Wenn die Grenzerträge sinken, werden die Leute diese Methode nach und nach ersetzen.“
„Aber es gibt nicht besonders viele Teams, die wirklich in der Lage sind, Destillation, Verstärkungslernen und eigenständige Forschung und Entwicklung gleichzeitig voranzutreiben“, gestand der genannte Forscher.
Darüber hinaus verändert die Destillation auch die Ressourcenverteilung eines Unternehmens. Ein Forscher erwähnte, dass die Destillation dem Modell kurzfristig ein „akzeptables Ergebnis“ bescheren kann. Da der Effekt aber so schnell eintritt, könnte das Team „zu sehr an dieser Methode hängen“. Um am höchsten Wettbewerb teilzunehmen „reicht reine Destillation nicht aus. Man muss zu Algorithmen und eigenständiger Forschung und Entwicklung zurückkehren, um Durchbrüche zu erzielen.“
Vor einigen Wochen, nach der Veröffentlichung von Kimi K3, erklärte Braden Hancock, Forscher am Lauder Institute und Mitbegründer von Snorkel AI, dass es unmöglich sei, ein Modell dieser Stärke in so kurzer Zeit nur mittels Destillation zu trainieren.
Nathan Lambert, Forscher am Allen Institute for Artificial Intelligence, wies ebenfalls darauf hin, dass andere Teams leicht mit GLM oder Kimi Schritt halten könnten, wenn die Destillation ausreichen würde, um Spitzenfähigkeiten zu replizieren – was in der Realität nicht der Fall ist.
Ein Forscher entschied sich, die Antwort der nächsten Iteration des Modells zu überlassen. Seiner Meinung nach ist das größte Hindernis des Weges ohne Destillation, ob man eine Zeit lang keine „vorzeigbaren Ergebnisse“ vorweisen kann.
Der Kampf zwischen Langfristigkeit und Zeitkosten um die Destillation geht weiter. Neben dem Wettbewerb um Ressourcen und technische Wege der Teams stellt er auch die Geduld der Branche auf die Probe, auf Ergebnisse zu warten.