Herausforderung von GPUs, Umgehung von HBM, tiefgehende Erkundung von Cerebras hinter dem größten Chip der Geschichte
Vor zehn Jahren war dies ein Unternehmen, das niemand für aussichtsreich hielt. Seit seiner Gründung verfolgte es ausschließlich das Ziel, einen Chip zu entwickeln, der noch nie zuvor gebaut wurde. Es versuchte, die dominante Position von Nvidia herauszufordern, stieß aber in den Anfangsjahren immer wieder auf Schwierigkeiten und stand mehrmals kurz vor dem Bankrott.
Zehn Jahre lang wurde an einem Projekt gearbeitet. Im Mai dieses Jahres ging Cerebras endlich an die Börse, und sein Marktwert erreichte zeitweise fast 100 Milliarden US-Dollar. CEO Andrew Feldman sagte: Wir sind bereit, mit jedem Hyperscaler zusammenzuarbeiten, um die Geschwindigkeit der AI-Inferenz zu steigern – mit Ausnahme von Nvidia.
Wir hatten das Glück, frühe Investoren von Cerebras sowie die Forscher zu interviewen, die als Erste nachweisen konnten, dass die Produkte von Cerebras praxistauglich sind. Außerdem haben wir mit leitenden Mitarbeitern von Cerebras aus dem Produktbereich über die Transformation des Unternehmens in den letzten zwei Jahren und die Pläne nach dem Börsengang gesprochen. Wenn wir all diese Hinweise zusammenfügen, stellen wir mit Erstaunen fest: Um den glorreichen Börsengang von Cerebras zu verstehen, müssen wir zehn Jahre zurückgehen.
Wir müssen zurück zu einem weißen Whiteboard, einem fast bankrotten Startup, einer physikalischen Wette, an die fast niemand glaubte, und einem AI-Labor mit dem damals weltweit größten Sprachmodell – wie diese Elemente zu einem unmöglichen Zeitpunkt zum wichtigsten Teil dieser Geschichte wurden.
Im Folgenden ist die Geschichte von Cerebras dargestellt.
01
Baidu AI-Labor
Entdeckung des Scaling Law
2014 verließ Andrew Ng das AI-Labor der Stanford-Universität und wechselte zu Baidu.
Inspiriert von Google Brain investierte Baidu 300 Millionen US-Dollar, um sein AI-Labor im Silicon Valley zu gründen. Ihr wichtigstes Ziel war es, den kommerziellen Wert des Deep Learnings zu erschließen. Für die Internetunternehmen zu dieser Zeit beschränkten sich die Anwendungen des Deep Learnings größtenteils auf physische Bereiche: autonomes Fahren, Robotik und Spracherkennung.
Greg Diamos
Aktuell Architekt bei TensorWave ScalarLM und Mitbegründer von MLCommons
Ich war damals so aufgeregt, weil ich schon während meiner Zeit bei Nvidia dachte, dass wir die gesamte CUDA-Roadmap auf das Deep Learning ausrichten sollten – denn die KI begann endlich, wirklich zu funktionieren. Anfangs wurde dies hauptsächlich bei visuellen Aufgaben wie der Bilderkennung nachgewiesen. Aber später, nachdem Andrew (Ng) zu Baidu gekommen war, begannen wir, das Problem neu zu überdenken. Seine Idee war: Wir sollten etwas schaffen, das echten Einfluss auf Produkte hat, etwas, das die Menschen wirklich nutzen. Deshalb begannen wir mit der Spracherkennung – denn die Nutzerzahl für Sprachanwendungen ist weit größer als die für die Bildsuche.
Greg Diamos erzählte uns in einem exklusiven Interview, dass Andrew Ng damals eine Gruppe führender KI-Forscher zu Baidu brachte – und Greg war einer von ihnen. Davor hatte Greg die CUDA-Softwarearchitektur bei Nvidia aufgebaut: Damals war CUDA noch ein internes Projekt, das niemand beachtete.
Greg Diamos
Aktuell Architekt bei TensorWave ScalarLM und Mitbegründer von MLCommons
Damit war CUDA praktisch ein Witz – niemand nutzte es.
Kurz nach der Gründung des AI-Labors veröffentlichte das Baidu-Team eine bekannte Arbeit mit dem Titel „Deep Speech“: ein End-to-End-Spracherkennungsmodell, das es Nutzern ermöglicht, auf das Mikrofonsymbol zu klicken und in die Suchmaschine zu sprechen. Außerdem trainierten sie einige der weltweit ersten tiefen neuronalen Netze. Der nächste Schritt war die Entwicklung von Sprachmodellen.
Greg Diamos
Aktuell Architekt bei TensorWave ScalarLM und Mitbegründer von MLCommons
Wir hatten damals einen verrückten, lockigen Forscher namens Dario Amodei. Gemeinsam erforschten wir Sprachmodelle und wie man ihre Skalierung vorantreiben kann. In dieser Zeit betrieben wir den weltweit größten CUDA-Cluster für Deep Learning, der später sehr berühmt wurde.
Das Sprachmodell, an dem das Baidu-Team arbeitete, war damals das weltweit größte: Es verfügte über 300 Millionen Parameter. Das Training dieses Modells dauerte drei Monate. Dabei entdeckten sie ein Gesetz: Je größer das Modell, je mehr Daten und je stärker die Rechenleistung, desto intelligenter wird das Modell. Und diese Verbesserung ist vorhersehbar und linear.
Dieses Gesetz wird als Scaling Law bezeichnet. Einige Jahre später veröffentlichte das Baidu-Team diese nachgewiesene Erkenntnis in einer Arbeit mit dem Titel „Deep Learning Scaling is Predictable, Empirically“. Dario Amodei brachte diese Entdeckung später zu OpenAI, wo sie zur zentralen Logik von GPT wurde.
Greg Diamos
Aktuell Architekt bei TensorWave ScalarLM und Mitbegründer von MLCommons
Als ich dieses Gesetz zum ersten Mal sah, wusste ich sofort: Das ist der Weg zur künstlichen Intelligenz. Ich konnte es kaum glauben, dass es einen klaren Weg zur Intelligenz gibt. Stellen Sie sich vor: Leute meiner Generation, die Informatik studiert haben, wurden immer gelehrt, dass Fortschritte in der Informatik extrem schwer zu erreichen sind und jede Verbesserung hart erarbeitet werden muss. Einige Probleme galten als fast unüberwindbar – wie Sprache, Sprachverarbeitung und visuelle Erkennung, die alle extrem schwierig sind. Aber dieses Konzept funktionierte. Und es war einfach: Man musste nur ein größeres Sprachmodell trainieren.
Aber damit tauchte auch ein Problem auf: Wenn das Scaling Law stimmt, wird die Rechenleistung, die für das Training zukünftiger wirklich nützlicher Modelle benötigt wird, eine Größenordnung erreichen, die von vorhandenen GPU-Clustern völlig nicht bereitgestellt werden kann. Die Baidu-Forscher erkannten, dass sie eine neue Art von Hardware benötigten.
02
Fünf Ingenieure
Erfinden den Computer neu
In dem selben Jahr, in dem das Baidu-Team das Scaling Law entdeckte, beschlossen fünf Ingenieure aus dem Silicon Valley, AMD zu verlassen. Davor hatten sie gemeinsam bei einem Mikroserver-Hardwareunternehmen namens SeaMicro gearbeitet, das 2012 von AMD für 334 Millionen US-Dollar übernommen wurde. Die Namen der fünf Personen sind Andrew Feldman, Gary Lauterbach, Michael James, Sean Lie und J-P Fricker – Andrew und Gary waren die Mitbegründer von SeaMicro.
Als sie sich zum ersten Mal trafen, schrieben die fünf Personen ihren Wunsch auf ein Whiteboard: Sie hofften, dass ihr Name eines Tages im Computer History Museum im Silicon Valley erscheinen würde. Von dem ersten Tag an war das Ziel von Cerebras, eine Hardware zu bauen, die ausschließlich für die KI entwickelt ist.
Wir wissen, dass das frühe KI-Training auf einer Kombination von CPU und GPU beruhte: Die CPU war der Kommandeur, der Aufgaben plante und zuwies. Die GPU hingegen glich einer riesigen Fabrik mit Tausenden von kleinen Arbeitsplätzen, die massive parallele Berechnungen durchführen konnte. Aber das KI-Training ist weit mehr als eine einzelne Berechnung: Parameter, Gradienten und Aktivierungswerte müssen ständig zwischen Grafikspeicher, Cache, Recheneinheiten und der GPU hin und her bewegt werden. Wenn ein Modell so groß wird, dass es nicht auf einer einzelnen Grafikkarte Platz findet, muss es in mehrere Teile aufgeteilt und auf mehrere Karten verteilt werden, die dann zusammenarbeiten.
Das, was die KI-Leistung oft wirklich verlangsamt, ist der Prozess, bei dem Daten ständig zwischen verschiedenen Chips, verschiedenen Speichern und verschiedenen Maschinen hin und her bewegt werden.
Viele Chiphersteller lösen dieses Problem, indem sie GPUs zu Clustern zusammenschließen und enorme Ingenieurskapazitäten aufwenden, um die Kommunikation zwischen ihnen zu optimieren. Der Ansatz von Cerebras hingegen lautet: So viele Recheneinheiten, Speicher und Verbindungen wie möglich auf einem einzigen Wafer unterzubringen – daraus entstand der Wafer-Scale Engine, kurz WSE.
Bei der Herstellung herkömmlicher Chips werden Hunderte kleiner Chips gleichzeitig auf einem Wafer gedruckt, danach wird der Wafer in einzelne Chips zerschnitten, die separat verwendet werden. Cerebras hingegen verwandelt den gesamten Wafer in einen riesigen KI-Prozessor. Die Fläche dieses Wafers ist 58 Mal größer als die des größten verfügbaren GPUs. Viele Datenübertragungen, die sonst zwischen GPUs, Servern und Netzwerken stattfinden müssten, können jetzt innerhalb des Wafers erledigt werden.
Angela Yeung
Senior Vice President of Products bei Cerebras
In der herkömmlichen GPU-Architektur ist der HBM-Speicher vom Rechenchip getrennt. Jede Datenübertragung zwischen Speicher und Recheneinheit dauert sehr lange – dieser Prozess wird durch die sogenannte Speicherbandbreite begrenzt. Da unser Speicher und unsere Recheneinheiten auf dem selben Siliziumstück liegen, verfügen wir über eine extrem hohe Speicherbandbreite, die um ein Vielfaches höher ist als die von GPUs.
Im März 2016 wurde Cerebras offiziell gegründet, die Serie-A-Finanzierung in Höhe von 27 Millionen US-Dollar wurde von Benchmark angeführt.
An dieser Stelle muss man die Weitsicht von Andrew bewundern: Ende 2015, als Cerebras beschloss, auf den Wafer-Scale Engine zu setzen, existierte die Transformer-Architektur noch nicht einmal, und die heutige KI-Industrie, die sich um große Modelle dreht, war noch weit davon entfernt, Gestalt anzunehmen. Damals boomte das Deep Learning zwar bereits, und Nvidia begann, GPUs für Rechenzentren und das Training neuronaler Netze zu vermarkten. Aber der vorherrschende Ansatz war immer noch, GPUs zu immer größeren Clustern zusammenzuschließen und dann Geschwindigkeitssteigerungen durch Software und Hochgeschwindigkeitsverbindungen zu erreichen.
Das Besondere an Cerebras war, dass es von Anfang an eine grundlegendere Frage stellte: Wenn die KI zu einer völlig neuen Art von Rechenlast wird – kann man dann einen Computer dafür neu entwerfen?
Ein Investor erinnert sich, dass Andrew bei ihrem Treffen Ende 2015 eine Folie zeigte, auf der sieben Kernprobleme des Deep Learnings aufgelistet waren – alle liefen im Grunde auf dasselbe Problem hinaus: Die Trainingszeit war zu lang. Genau das war auch der Engpass, mit dem das Baidu-Team am Ende des vorherigen Kapitels konfrontiert war.
03
Eine Wette, an die niemand glaubte
Die Investorin Nan Zhou kam 2016 zum Baidu AI-Labor und wurde Kollegin von Greg. Ihre erste Aufgabe war es, nach neuen Rechenlösungen zu suchen, die speziell für das Deep Learning entwickelt wurden.
Nan Zhou
Frü