Höchste Rechenleistung, langsamste Fortschritte: ByteDances große KI-Modelle stecken im Pferderennsystem fest

In den goldenen zehn Jahren des Internets war ByteDance eine als göttlich verehrte organisatorische Maschine. Mit dem „App-Fabrik“-Modell, flachem agilem Entwicklungsansatz und dem extrem wettbewerbsintensiven „Pferderennmechanismus“ hat es unter dem doppelten Druck von Tencent und Alibaba einen globalen Giganten wie Douyin hervorgebracht.

Doch als dieses Unternehmen mit dem strahlendsten Kapital, der leistungsstärksten Rechenkapazität und dem größten Talentpool in die Ära der großen Modelle eintrat, wurden die einstigen „magischen Waffen“ zu der größten Schwachstelle, die sich selbst am tiefsten verletzt.

Kürzlich hat eine Diskussion auf der Plattform X rund um das Seed-Team von ByteDance die grausamste organisatorische Fassade hinter der Begeisterung für große Modelle enthüllt. Der Informant hat unverblümt darauf hingewiesen: Seed verfügt über hervorragende Talente und eine Menge Rechenkapazität, aber der Fortschritt des LLM (Large Language Model) ist nicht schnell genug; die Ursache liegt nicht in technischen Einschränkungen, sondern in organisatorischen Problemen – der Pferderennmechanismus von ByteDance passt überhaupt nicht zur Forschung und Entwicklung großer Modelle.

In Verbindung mit den früheren öffentlichen Berichten über die Selbstaussage der Betroffenen des „Vergiftungs“-Vorfalls bei der Schulung des ByteDance-Seed-Teams sowie den Diskussionen im Kommentarbereich über die „schwere industrielle Fließband für große Modelle“ ist eine äußerst absurde Realität aufgetaucht: Angesichts des komplexesten Systemprojekts in der menschlichen Geschichte, dem großen Modell, kann das von ByteDance stolz gemachte „Pferderennen“ keine Rakete hervorbringen, die zum AGI führt.

Wenn das „Pferderennen“ auf die „schwere Industrie“ trifft

Die Führungskräfte großer Technologieunternehmen leiden oft unter einer fatalen Pfadabhängigkeit: Sie glauben, dass große Modelle nur eine weitere komplexere App sind. Solange genügend Teams eingesetzt werden, die miteinander konkurrieren und intern gegeneinander antreten, kann das stärkste Modell hervorgebracht werden.

Das ist ein geistiges Siegel, das aus der Ära des mobilen Internets stammt.

Wie ein Praktiker im Kommentarbereich pointiert zusammenfasst: „Das Vortraining großer Modelle ist im Wesentlichen ein Fließbandprojekt, das der präzisen schweren Industrie ähnelt. Von der Wortsegmentierungsfilterung und Datenverteilung bis zur Kommunikationsoptimierung der Tausende oder Zehntausende von Karten umfassenden Topologie muss jeder Schritt lückenlos und global koordiniert sein.“

In diesem schweren industriellen System ist kein unabhängiges Handeln einzelner Teile erlaubt. Man braucht ein hoch zentralisiertes Kommando, das zehntausende GPUs einheitlich steuert, Billionen von Token einheitlich bereinigt und die zugrundeliegende Infra (Infrastruktur)-Architektur einheitlich ausrichtet. Selbst ein winziger Fehler bei der Datenverteilung oder ein lockeres Netzwerkkabel im Tausende von Karten umfassenden Cluster kann zum völligen Zusammenbruch eines monatelangen Trainings, das mehrere zehn Millionen Euro kostet, führen.

Und was ist der Kern des „Pferderennmechanismus“? Es sind kleine schnelle Schritte, getrennte Ressourcen, wettbewerbsintensive Teams und das Prinzip des Siegers, der alles bekommt.

Die erzwungene Anwendung des Pferderennmechanismus des mobilen Internets auf die Forschung und Entwicklung von Superclustern, die globale Koordination erfordern, führt direkt dazu, dass der „Super-Rechenkapazitätspool“, der eigentlich dazu bestimmt ist, Kräfte zu bündeln, um große Dinge zu erreichen, in isolierte „Ressourceninseln“ zersplittert wird, die jeweils für sich handeln.

Dem Bericht zufolge ist das Horten von Ressourcen bei ByteDance zur Normalität geworden. Die Teams, die sich bereits Rechenkapazität gesichert haben, ziehen es vor, diese ungenutzt zu behalten, anstatt sie mit anderen Teams zu teilen. Alle hüten sich davor, dass das benachbarte Team bessere Ergebnisse erzielt als sie selbst. Die Informationen sind nicht transparent, die Kommunikation ist voller Misstrauen, und sie verbergen sogar gegenseitig wichtige Codes und Daten.

Das ist keine einzigartige Krankheit von ByteDance. Der Informant hat nebenbei erwähnt, dass Giganten im Silicon Valley ähnliche Probleme haben: Bei Google beschwert sich das Team, das Gemini entwickelt, über den Mangel an Grafikkarten, während das gewinnbringende Werbeteam eine große Anzahl von GPUs besitzt, und die Außenwelt weiß nicht, wofür sie diese Rechenkapazität verwenden. Es ist zu beachten, dass diese spezifische Aussage über die interne Verteilung der Rechenkapazität bei Google derzeit nur in Berichten von Informanten zu finden ist und noch keine unabhängigen Quellen zur gegenseitigen Bestätigung vorliegen; aber die von ihr angesprochenen Abteilungsbarrieren und der Partikularismus sind in der Tat teure versunkene Kosten in der Ära der großen Modelle.

Wer übernimmt die Verantwortung für das OKR nach einem halben Jahr Datenbereinigung?

Die Forschung und Entwicklung großer Modelle erfordert nicht nur „Großartigkeit“, sondern auch „Ruhe“. Im Gegensatz zum Schreiben von Front-End-Code, bei dem man sofort coole UI-Feedback sehen kann, erfordert sie eine Menge langweiliger Datenbereinigung und umständliche Kommunikationsoptimierung.

Aber unter dem extrem wettbewerbsintensiven KPI/OKR-System großer Unternehmen ist diese „Ruhe“ nicht erlaubt.

Der Bericht beschreibt die sehr realen Schmerzpunkte der Entwickler: Für die Arbeit an LLM braucht man nicht so viele geniale Momente, in denen plötzlich Ideen einfallen. Die eigentliche Arbeit besteht darin, die Daten und die Umgebung stabil richtig zu machen und die Effizienz der Infra zu optimieren. Aber diese Entwickler, die aus Top-Talenten bestehen, sehnen sich im Kern nach Innovation und nach der Leitung von Projekten.

„Mit dem alle paar Monate stattfindenden OKR-Bewertungszyklus habe ich das ganze halbe Jahr damit verbracht, schmutzige Daten zu bereinigen. Wie soll ich mein OKR am Ende des Jahres schreiben?“ Das ist ein toter Knoten.

Unter dem bestehenden Bewertungssystem können die „schmutzigen und anstrengenden Arbeiten“, die die Untergrenze großer Modelle wirklich bestimmen, wie Datenbereinigung, Fehlerbeseitigung und Kommunikationsoptimierung, nicht in schöne Präsentations-PPTs und Top-Konferenzpapiere umgewandelt werden. Wenn Mitarbeiter die auffälligsten und am einfachsten zu veröffentlichenden Architekturinnovationen durchführen, um das OKR zu erfüllen, wer wird dann die schmutzigen Arbeiten erledigen?

Wenn niemand sie erledigt, wird das Modell schädliche Daten aufnehmen und letztendlich zu einer Katastrophe führen.

Der „Vergiftungs“-Vorfall bei der Schulung des ByteDance-Seed-Teams, der in der Branche für Aufsehen sorgte, ist genau das Produkt dieser extremen Wettbewerbsintensität und organisatorischen Spaltung. Als direktestes Opfer hat der ehemalige Mitarbeiter ShoufaChen in seinen Erinnerungen äußerst schmerzhaft über die monatelange Fehlersuche, Konfrontation und Zweifel berichtet. Mehrere Monate lang stand das Team jeden Tag vor dem seltsamen Zusammenbruch der Modellleistung und den gegenseitigen Vorwürfen über die Arbeitsfehler des anderen.

Öffentliche Berichte zeigen, dass dies kein einfacher technischer Fehler war, sondern eine systematische Sabotage, die ein ehemaliger Praktikant in der Trainingsumgebung verübt hat: Er hat den zugrundeliegenden Code manipuliert, Trainingsprozesse zufällig beendet, Hintertüren eingebaut und die Fehler als zufällige Unfälle getarnt. Wenn sich die Teams gegenseitig verteidigen, um Ressourcen zu erbeuten, und die Forscher echte Datenfehler verbergen, um ihre eigenen Projekte zu schützen, wird das riesige Wesen des großen Modells unmerklich zum Zusammenbruch gebracht. Das OKR-System großer Unternehmen, das ursprünglich dazu gedacht war, das Potenzial der Menschen zu entfalten, hat letztendlich die kurzsichtigste und egoistischste Seite der Menschheit hervorgebracht.

Die fehlende „Research Group“

Noch interessanter ist ein anderer Kommentar: „ByteDance verfügt über die meisten Ressourcen, aber keine echte Research Group (Forschungsgruppe).“

In den letzten Jahren hat dieses Unternehmen sehr glänzende Ergebnisse in technischen Blogs veröffentlicht und viele ausgezeichnete Infra-Frameworks und zugrundeliegende Algorithmen vorgelegt. Aber bei genauer Betrachtung scheint seine technische Leistung in keinem passenden nichtlinearen Verhältnis zu den tatsächlich investierten Rechenkapazitäten zu stehen. Es hat Zehntausende von Karten investiert, aber oft nur „kleine technische Siege“ bei lokalen Optimierungen erzielt, anstatt große Durchbrüche im Paradigma auf der untersten Ebene zu erreichen.

Warum? Weil die „Forschungsinstitute“ großer Technologieunternehmen meistens immer noch Anhängsel der Geschäftsabteilungen sind. Sie werden aufgefordert, „sowohl fortschrittlich als auch praxisorientiert“ zu sein; sie sollen sowohl Top-Konferenzpapiere veröffentlichen, um ihre technische Stärke zu beweisen, als auch sofort mit Douyin verbunden werden, um Werbeempfehlungen zu machen. Diese widersprüchliche Situation der „sowohl als auch“ hindert die Forscher daran, sich langfristig auf eine Richtung zu konzentrieren.

Aber in der Ära der großen Modelle erfordert echte Forschung „unkostenbewusste Fehlerversuche“ und „Toleranz für langfristiges Denken“.

Microsoft hat für OpenAI ein Top-Supercomputing-Zentrum gebaut und sie jahrelang experimentieren lassen, bis sie GPT-4 hervorgebracht haben; DeepSeek steht hinter High-Flyer, verfügt über extrem freie Rechenkapazitätsreserven und eine extrem flache Geek-Kultur, und ein kleines Team von Dutzenden von Personen kann sich bis zum Äußersten für die Fixierung auf eine MoE-Architektur einsetzen. In großen Technologieunternehmen hingegen werden die Talente, wenn das Recht auf freie Verteilung der Rechenkapazität nicht gelöst und ein Bewertungssystem eingeführt wird, das nicht auf kurzfristige DAU ausgerichtet ist, nur zu fortgeschrittenen Fließbandarbeitern für die Datenbereinigung oder zu Büropolitikern, die um Grafikkarten kämpfen, degradiert.

Es ist erwähnenswert, dass öffentlichen Berichten zufolge ByteDance danach die organisatorische Konvergenz des Seed-Teams vorangetrieben und die vierteljährlichen OKRs und halbjährlichen Bewertungen für das Seed-Edge-Projekt abgeschafft hat. Dies zeigt indirekt, dass der alte Ansatz aus „Pferderennen + kurzzyklischen Bewertungen“ tatsächlich nicht mehr haltbar ist.

Schlusswort: Abschied von der „App-Fabrik“, Neugestaltung der „Großunternehmen“

Eigentlich ist das nicht nur bei ByteDance der Fall. Alibaba, Tencent, Google – alle traditionellen Giganten, die versuchen, den neuen Wein des „großen Modells“ in die alte Flasche der „App-Fabrik“ zu füllen, durchleben schmerzhafte Wehen.

Ein großes Modell ist kein kleines Programm, das nach dem Schreiben weniger Zeilen Front-End-Codes online gestellt werden kann. Es ist ein extrem fortgeschrittenes Projekt zur Kompression menschlichen Wissens, eine äußerst großartige, grausame und extrem solidarische Kernfusion. Es erfordert, dass Unternehmen über die Fähigkeit zur Steuerung auf der Ebene der untersten Hardware verfügen, eine lange Phase „ohne Leistung“ tolerieren und vor allem einen extremen Glauben haben, der über kurzfristige Finanzberichte hinausgeht.

Wenn große Technologieunternehmen noch an dem alten Internet-Denken festhalten, nämlich „internes Pferderennen“, „Erzwingen von Leistung durch OKR“ und „jeder kümmert sich nur um seine eigenen Angelegenheiten“, dann werden sie trotz zehntausender Grafikkarten am Ende nur eine „Ressourceninsel“ aufbauen, die weder mit den Besten mithalten kann noch für die unteren Ebenen geeignet ist.

Der Gewinner der Zukunft muss nicht das Unternehmen mit den meisten Grafikkarten sein, aber es muss die Organisation sein, die den Mut hat, die alten Abteilungsbarrieren zu zerschlagen, alle Rechenkapazitäten zu einer geballten Faust zu formen und die Talente bereitwillig ein Jahr lang Daten bereinigen zu lassen. Schließlich kann man Rechenkapazität mit Geld kaufen, aber der Aufbau eines „wissenschaftlichen industriellen Systems“, das an die Evolutionslogik siliziumbasierter Lebewesen angepasst ist, erfordert eine tiefgreifende Selbstrevolution. Ohne das Betriebssystem auszutauschen sind große Technologieunternehmen dazu verdammt, nicht durch die enge Tür des AGI zu gelangen.

Dieser Artikel stammt von dem WeChat-Offiziellen Konto „Tech Business“, Autor: Tech Business, veröffentlicht mit Genehmigung von 36Kr.