Ein Wissenschaftler versucht, ein besserer CEO zu werden | WAVES

Text | Shi Jiaxiang

Redaktion | Liu Jing

Yuan Jinhui und OneFlow waren für eine Zeit nach dem Ausbruch von ChatGPT die Glücklichen: Nachdem Wang Huiwen sein „Ruf nach Helden“ veröffentlichte, wurde OneFlow von Light Year Beyond übernommen. Diese sechs Jahre alte Firma stieg plötzlich zu einem Team mit den besten Ressourcen auf dem Tisch auf. Doch nur zwei Monate später war alles wie im Zauber verschwunden.

Nach vier aufregenden Monaten im Rampenlicht entschieden Yuan Jinhui und das OneFlow-Team, erneut ein Unternehmen zu gründen. Vom Team mit den reichhaltigsten Ressourcen in der Branche bis zum plötzlichen Verschwinden, während andere Spieler bereits an der Spitze standen, war der psychologische Schlag unbestreitbar. Aber Yuan Jinhui sagte, wenn man weiterhin am Tisch bleiben wollte, sei die Wiedergründung eines Unternehmens die einzige Option.

Der Grund dafür war, dass nachdem die Nachricht über Wang Huiwens Krankheit heraus kam, einige Unternehmen in das Büro von Light Year Beyond stürmten, um Mitarbeiter zu rekrutieren. Auch Mitglieder des OneFlow-Kerns wurden mit Jahresgehältern von über einer Million angeboten, aber kein Unternehmen konnte alle Mitarbeiter gleichzeitig halten. Das Gründen eines Unternehmens war die einzige Möglichkeit, das Team vor Zerfall zu bewahren.

Vor Light Year Beyond war Yuan Jinhuis Unternehmensgründung ebenfalls auf und ab. Anders als die meisten Unternehmen war OneFlow am Anfang wie ein Labor. In den ersten vier Jahren hatte es keine Einnahmen und war auf externe Investitionen angewiesen. Das, was sie taten, klang damals unglaublich: die Deep-Learning-Systemarchitektur, in die die Großkonzerne mit großen Summen investierten (z. B. TensorFlow von Google), zu überwinden.

„Notizen über eine außermittige Unternehmensgründung“, so nannte Yuan Jinhui seinen Blog, als er die Unternehmensgründung aufzeichnete — es war ein bewusstes „atypisches Unternehmertum“.

Das Konfrontieren mit den Großkonzernen und das Nichtberücksichtigen von kurzfristigen kommerziellen Aspekten, ein Unternehmensgründungsprojekt, das nach den gängigen Maßstäben fast nie erfolgreich sein könnte, hat Yuan Jinhui sechs Jahre lang betrieben, nur getragen von der Hoffnung auf Erfolg, „alle erdenklichen Schmerzen erlebt“. Er hat auch viele graue Haare bekommen, „der Preis für eine Performance- Kunst“, machte er einen Scherz.

Yuan Jinhui gestand, dass alle früheren Niederlagen selbstverschuldet waren. Vor der Übernahme durch Light Year Beyond befand sich OneFlow ständig am Rande des Scheiterns. In den schwierigsten Zeiten entschied man sich für Gehaltskürzungen und Personalabbau. Später fügte er hinzu, dass OneFlow in den letzten sechs oder sieben Jahren immer in einem solchen Zustand war.

Aber bei dieser Unternehmensgründung möchte Yuan Jinhui denjenigen, die weiterhin mit ihm zusammenunternehmen, eine Rechenschaft ablegen. Sie glauben, dass es auch in der AI-Infrastruktur, obwohl es hier nicht so viel Konkurrenz wie bei Modellen oder Chips gibt, Chancen gibt, in die Weite zu gelangen. Ein wenig anders ist, dass der Schwerpunkt des neuen Unternehmens von der Modellierung auf die Inference-Deployment verschoben wurde.

Innerhalb von nur wenigen Monaten wechselte er vier Unternehmen, von OneFlow über Light Year Beyond zu Meituan und schließlich gründete er ein neues Unternehmen, nachdem er Meituan verlassen hatte. Yuan Jinhui sagte, dass es erst in diesem Jahr wieder etwas besser geworden sei.

Ein Wissenschaftler, nach der Prüfung durch technologische Veränderungen und die Geschäftswelt, beginnt, ein besserer CEO zu werden.

Der gute Plan

Das Jahr 2012 war ein wichtiges Jahr für Deep Learning. In diesem Jahr gab es den Ausbruch von Imagenet, und Deep Learning bewies erstmals, dass Maschinen in der Objekterkennung besser als Menschen sein können.

Zwei Jahre später entwickelte sich Deep Learning auch in anderen Bereichen außer Bildverarbeitung weiter. Damals hatten die gängigen Modelle nur einige Millionen Parameter. Yuan Jinhui, der damals noch am Microsoft Research Asia arbeitete, beurteilte, dass die Modelle in Zukunft sehr groß werden würden und die bestehende Architektur neu gestaltet werden würde.

Diese vorausschauende Beurteilung gründete auf soliden Grundlagen. Im zweiten Jahr seiner Tätigkeit bei Microsoft Research Asia entwickelte Yuan Jinhui LightLDA. Er reinigte 15 Milliarden hochwertige Webseiten aus der gesamten Webseitenbibliothek und trainierte ein LDA-Modell mit einer Billion Parametern mit 20 Billionen Token aus diesen Webseiten. Dies war eines der größten Modelle damals. Wenn man noch weiter zurückblickt, studierte er in Tsinghua die Computational Neuroscience und vertiefte seine Kenntnisse in der Gehirnforschung. Die Anzahl der Synapsenverbindungen im menschlichen Gehirn ist weit höher als die der damaligen Deep-Learning-Modelle. Vielleicht ist die Skala der Schlüssel zur menschlichen Intelligenz.

Damals waren keine der bestehenden Deep-Learning-Systeme für große Modelle konzipiert. Yuan Jinhui dachte, „Wenn große Modelle Realität werden und man die beste „Hammer“ hat, kann man sich zumindest technisch einen Namen machen, ganz zu schweigen von der Einnahme“. Eines Morgens wachte er plötzlich auf und dachte, er müsse ein Unternehmen gründen. „Sobald dieser Gedanke aufkam, konnte ich an nichts anderes denken“.

OneFlow wurde in diesem Kontext gegründet. Am Anfang war es eine „Unternehmensgründung in der Freundeskreis“. Die Investoren umfassten Yuan Jinhuis Freunde und Verwandte (einschließlich seines ehemaligen Kollegen Su Hua und Su Huas Geschäftsmann-Bruders). Später erhielt es die Unterstützung von Joy Capital, THS, Kuaishou, dem Alumni-Fonds, Hillhouse und dem Bezirk Haidian.

Vor der Entstehung der großen Modelle war für Yuan Jinhui die wichtigste technologische Chance die Architektur. „Die Modelle darüber ändern sich ständig, aber die darunterliegende Architektur ist stabil“. OneFlow war eines der ersten Teams weltweit, das glaubte, dass die Modelle immer größer werden würden. Die von ihnen erforschte Systemarchitektur basierte alle auf der Annahme, dass die Modelle größer werden würden.

Er dachte nur daran, den besten „Hammer“ zu schaffen, ohne darüber nachzudenken, wo die „Nägel“ wären. In den ersten vier Jahren hatte OneFlow keine kommerziellen Einnahmen. Die technischen Ziele standen über den kommerziellen Interessen. Die Arbeitsweise war wie die eines Labors, und die meisten Aufgaben bestanden darin, Code zu schreiben. Die Mitarbeiter waren so charakterisiert: Sie liebten nur das Codieren und das Diskutieren von technischen Fragen. Bei Diskussionen über technische Fragen waren sie lebhaft, aber bei anderen Fragen zeigten sie kein Interesse. Natürlich ausgenommen die Frage nach dem Geld.

Yuan Jinhui verglich seine damalige Vorstellung von der Kommerzialisierung mit einem „guten Plan“ — den schnellsten und besten Rahmen zu schaffen, die Entwickler-Ökosystem zu erobern und schließlich die Kommerzialisierung voranzutreiben.

Einfach ausgedrückt, versuchte OneFlow, eine „schönere“ Architektur zu finden, um alle Probleme ein für alle Mal zu lösen: Jeder Deep-Learning-Modell (auch wenn es kein Transformer ist), egal wie groß er wird, kann auf der von ihnen entwickelten Architektur laufen. Der Name OneFlow spiegelte auch ihre Ambition wider.

Das Magazin „Zhongguancun Guide“ interviewte Yuan Jinhui im Jahr 2020 und beurteilte, dass OneFlow zwar große Ziele hatte, aber es keine Quixotenidee war. Aber Yuan Jinhui beschrieb seinen damaligen Zustand als „Kämpfen gegen die Windmühlen“.

OneFlow arbeitete in Geheimnis sechs Jahre lang. Nur wenige glaubten an sie, und es gab keine Konkurrenz. Sie dachten auch, wenn nach der Fertigstellung des Tools noch niemand große Modelle entwickeln würde, würden sie es selbst tun.

Aber das blieb nur eine Idee. Ende 2022 befand sich OneFlow fast in einer Notlage. Man konnte höchstens auf einige hundert GPU zugreifen. Die schwierige Situation war nicht das Ergebnis eines zufälligen Schwarzen Schwan-Events, sondern die Anhäufung von Problemen. Zu dieser Zeit war die Investitionssituation in China schlecht, und die nächste Runde der Finanzierung stand nicht sicher. In den letzten zwei Jahren musste das Unternehmen Einnahmen durch Projekte erzielen, aber auch diese Projekte waren auf die Rahmenentwicklung konzentriert, „man kann es kaum als Kommerzialisierung bezeichnen“. Vor und nach der Veröffentlichung von ChatGPT nahmen einige Kernmitarbeiter Angebote von großen Unternehmen an und verließen das Unternehmen.

Dies war fast der dunkelste Moment für Yuan Jinhui. In diesem Jahr hatte er fast keine Wochenenden. In den schwierigsten Zeiten entschied er sich für Gehaltskürzungen und Personalabbau.

Von der technologischen Entwicklung her war die Erforschung von OneFlow zweifellos erfolgreich. Sie waren die ersten, die es ermöglichten, dass verteilte Mehrfach-GPU so einfach zu programmieren war wie eine einzelne GPU. Die von ihnen entwickelte verteilte Philosophie und Design wurden auch von den heutigen gängigen Deep-Learning-Frameworks aufgegriffen.

Aber der echte Revolutionär war später OpenAI. Auch wenn das „Hammer“, das sie benutzten, nur eine Ergänzung zur bestehenden Architektur war und nur für das Transformer-Modell geeignet war, hatte das Transformer-Modell tatsächlich so gute Ergebnisse, dass die Revolution schneller stattfand.

„Ob es vom Schicksal bedingt ist oder die soziale Gesetzmäßigkeit, dass es eher dazu führt, dass die Menschen den Wert direkt erkennen und die Dinge schneller voranschreiten, anstatt dass wir uns auf Schönheit oder sogar persönliche Vorlieben konzentrieren“. Yuan Jinhui sagte mehrmals gegenüber der Zeitschrift „Waves“: „Die Geschichte von OneFlow ist wie eine Performance- Kunst“.

Vier Monate der Höhen und Tiefen

Ende 2022 brachte der unerwartete Ausbruch von ChatGPT OneFlow aus dem ursprünglich geplanten Kurs. Yuan Jinhui war einer der Wissenschaftler in China, die am nächsten an der Entwicklung großer Modelle standen. Er wusste, dass Professor Tang Jie (der Lehrer von Yang Zhilin), Google und OpenAI alle in Richtung großer Modelle arbeiteten, aber er unterschätzte den Tempo der Veränderungen. „Ich glaubte, dass es passieren würde, aber vielleicht noch einige Zeit dauern würde, und wir noch Zeit hätten“, sagte Yuan Jinhui.

Glück und Unsicherheit kamen gleichzeitig auf. Einerseits wurde endlich die seit Jahren festgehaltene Einschätzung wahr: Große Modelle waren von einer Anti-Konsens-These zur Super-Konsens-These geworden. Aber andererseits bildete sich der Konsens auf dem Markt für KI so schnell, dass es bald in einen Wettlauf um Ressourcen, Finanzierung und Ruf kommen würde — wer am schnellsten am meisten Geld, Rechenleistung und GPUs hätte — und die Chancen gehörten vielleicht nicht OneFlow, das fast alles dafür gegeben hatte (und nachdem die Modellstruktur auf Transformer konvergierte, war eine universelle Lösung nicht mehr unbedingt erforderlich).

Fast zur gleichen Zeit sah Yuan Jinhui Wang Huiwens „Ruf nach Helden“ mit 50 Millionen US-Dollar Kapital. Er dachte, dass OneFlow Wang Huiwen vielleicht interessieren würde. Yuan Jinhui traf Wang Huiwen. Bei einem Abendessen sagte Wang Huiwen, dass er ein neues Team zusammenstellen wollte. Anfangs war die Zusammenarbeit nicht erfolgreich.

Schon bald brachte ein Vermittler die beiden Seiten wieder an den Verhandlungstisch. Innerhalb eines Monats war die Übernahme abgeschlossen, und OneFlow zog von der Tsinghua Tongfang Science Plaza in das Sohu Network Building um.

Zur gleichen Zeit stieg der Marktwert von Light Year Beyond auf über eine Milliarde US-Dollar und wurde plötzlich das Team mit den besten Ressourcen auf dem Markt.

Aber nur zwei Monate später musste Wang Huiwen wegen Krankheit aus dem Betrieb ausscheiden, und Meituan übernahm Light Year Beyond. Es war sehr bedauerlich, den Unternehmensgründungswillen in der Welle aufzugeben. Die Unsicherheit und der Zögern dauerte nur einen Monat, und Yuan Jinhui beschloss, erneut ein Unternehmen zu gründen.

Dies war auch die einzige Möglichkeit, das ursprüngliche Team zusammenzuhalten. Nachdem die Nachricht über die Turbulenzen in Light Year Beyond heraus kam, stürmten einige Unternehmen in das Büro, um Mitarbeiter zu rekrutieren. Auch einige Mitglieder von OneFlow erhielten Arbeitsangebote mit Jahresgehältern von über einer Million. In einer solchen Situation konnte kein Unternehmen ein Angebot machen, das alle Mitarbeiter halten würde. Aber wenn man weiterhin ein Unternehmen gründet, würden die meisten Mitarbeiter weiterhin zusammenbleiben.

Bei der ersten Jahrestag der Gründung von SiliconFlow beschrieben sie ihren damaligen Zustand wie folgt: Im Sturm der Wellen, wie ein Steuermann, der sein Schiff beherrschen muss. Nachdem die Richtung festgelegt war, hatte man keine Zeit, sich auszuruhen, sondern stieß sich zusammen und trat erneut in das neue Schlachtfeld ein.

Yuan Jinhui sagte zu seinem Team, wenn sie einen so großen Krisen überwinden könnten, ohne dass das Team auseinanderfällt, würden sie in Zukunft keine Schwierigkeiten nicht bewältigen können.

Konsens und offene Karten

Yuan Jinhui hat zweimal die Gelegenheit verpasst, in die Anfangsphase eines Konzerns beizutreten. Das erste Mal war Anfang 2013, als Zhang Yiming ihn einlud, der damaligen noch jungen ByteDance beizutreten. Er sagte, dass er lieber in das Microsoft Research Asia gehen wollte. Das zweite Mal war, als Su Hua ihn einlud, Kuaishou beizutreten. Er entschied sich wegen „noch einigen technischen Ideen“ weiterhin bei Microsoft zu bleiben.

Vor einigen Jahren strebte er eher den Erfolg von OneFlow an als den Erfolg des Unternehmens. Und auf diese Weise „gibt es nur die Möglichkeit der Übernahme, ansonsten geht es unter“.

Aber diesmal ist es anders. „Das technische Interesse war in der letzten Phase befriedigt, also sind die noch unbefriedigten und unvollendeten Ziele hauptsächlich auf kommerzieller Ebene“, so äußerte sich Yuan Jinhui in einem Interview.

Bei einer Fragestunde nach einer Präsentation fragte ein Zuhörer Yuan Jinhui, ob er noch eine technische Idee aufstellen könnte, die ähnlich wie OneFlow in den nächsten Jahren eintreten würde, aber die von den meisten Menschen nicht akzeptiert würde. Yuan Jinhui sagte, er sei schamhaft, dass er jetzt den größten Teil seiner Zeit außerhalb der Technik verbrachte und daher keine solche Idee mehr aufstellen konnte.

Der Name des neuen Unternehmens wurde von ChatGPT inspiriert: SiliconFlow. Anders als OneFlow, das immer versuchte, die bestehende Architektur zu überwinden, geht SiliconFlow vom Geschäftsziel aus und wählt pragmatischer eine Deep-Learning-Inference-Architektur, die technisch nicht so aufregend wie OneFlow ist, aber größere Chancen auf dem Markt hat. Wenn man sagt, dass die Datenmenge, die von einem Trainings-Framework verarbeitet wird, wie ein Swimmingpool ist, dann ist die Datenmenge, die von einem Inference-Framework verarbeitet wird, wie ein unendlicher Fluss. Anders als OneFlow ist dies ein Weg, auf dem es einen hohen Konsens gibt.

Die großen Modelle haben die Produktform „Model as a service“ (MaaS) hervorgebracht. Solange man die Dienste nach den Standard-API bereitstellen kann, können die ursprünglich unteren, schwer zu kommerzialisierenden Technologien schnell in Geld umgewandelt werden. Die Fortschritte von OpenAI in der Inference haben Yuan Jinhuis Einschätzung über die Inference-Architektur bestätigt. „Der Rechenleistungsbedarf für die Inference hat