Gründer von Speechify: Warum jedes Startup ein eigenes Rechenzentrum bauen sollte

Von der Ablehnung durch alle Cloud-Anbieter bis zum Aufbau eines eigenen GPU-Clusters, um das weltweit führende Sprachmodell zu trainieren – Cliff Weitzman erzählt eine wahre Geschichte über Rechenleistung, Kosten und strategische Fehlentscheidungen.

I. Eine kontraintuitive Entscheidung: GPUs kaufen statt mieten

Im Jahr 2022 traf Cliff Weitzman, der Gründer von Speechify, eine Entscheidung, die viele Menschen nicht verstanden: Er gab mehrere zehn Millionen Dollar aus, um NVIDIA-GPUs zu kaufen und selbst ein Rechenzentrum aufzubauen.

Zu dieser Zeit mieteten fast alle Startups Cloud-Dienste. Aber er und sein Bruder rechneten nach:

Der Kaufpreis einer H100-Grafikkarte beträgt etwa 30.000 US-Dollar. Bei der Anmietung über AWS oder Azure fallen Kosten von 3,5 bis 5 US-Dollar pro Stunde an. Multipliziert mit 24 Stunden und 365 Tagen im Jahr ergibt sich ein Jahresbetrag von 35.000 bis 50.000 US-Dollar.

„Die Kosten für die Anmietung über ein Jahr betragen das 1,5-fache des Kaufpreises. Und die Hardware hat normalerweise eine normale Nutzungsdauer von drei Jahren und kann nach Ablauf der Garantie noch etwa zehn Jahre lang verwendet werden.“

Aus rein finanzieller Sicht ist der Kauf offensichtlich sinnvoller.

Aber was ihn wirklich zu der Entscheidung bewog, war die Arbeitsweise der Ingenieure.

„Wir haben festgestellt, dass die Ingenieure bei Speechify sehr sparsam sind. Wenn sie GPUs nutzen, denken sie immer: ‚Oh mein Gott, ich verursache dem Unternehmen gerade einen Verlust von Zehntausenden Dollar.‘“

Er machte einen Vergleich: Stell dir vor, du bist Michael Jordan und willst in die NBA eintreten, musst aber 20 Dollar pro Stunde zahlen, um in einem Basketball-Trainingszentrum zu trainieren. Das ist schrecklich. Du willst einen Platz, den du jederzeit nutzen kannst – tatsächlich willst du einen solchen Platz direkt zu Hause haben.

Also kauften sie die ersten GPUs.

II. Training und Inferenz: Zwei völlig unterschiedliche Anforderungen

Viele Menschen verstehen nicht, warum sie nicht einfach Cloud-Dienste mieten.

Weitzman erklärte, dass der Schlüssel darin liegt, zwischen Training und Inferenz zu unterscheiden.

Beim Training hast du eine Hypothese und möchtest so schnell wie möglich eine Antwort erhalten. Jede Minute vergeht, in der du mit anderen konkurrierst. GPUs, die um mehrere Größenordnungen schneller arbeiten, sind ein enormer Vorteil.

Bei der Inferenz, zum Beispiel wenn Speechify Text in Sprache umwandelt, brauchst du keine Top-Grafikkarte. Eine ältere GPU kann die Aufgabe innerhalb von 100 Millisekunden erledigen. „Ich kann diese älteren GPU-Modelle jederzeit für Inferenzberechnungen nutzen.“

Noch wichtiger ist, dass für das Training große GPU-Cluster mit riesigen Speichermengen verbunden werden müssen. „Ich kann nicht einfach Software von Google oder Microsoft mieten und dann in dem von mir gewünschten Umfang betreiben, weil ich einen sehr großen Umfang benötige.“

Sie mussten die Daten auf benachbarten Speicherkarten speichern, sodass alle GPUs gleichzeitig darauf zugreifen können. Eine solche Architektur kann durch Mietlösungen überhaupt nicht erfüllt werden.

III. Die Realität der Lieferkette: Versicherung, Kühlung und ein LKW voller GPUs

Der Aufbau eines eigenen Rechenzentrums klingt einfach, aber in der Praxis steckt er voller Details.

Zuerst musst du Flächen in einem Rechenzentrum mieten. Das Rechenzentrum stellt Netzwerkverbindungen, Stromversorgung und Techniker zur Verfügung – die die Geräte vom LKW abladen, installieren und Probleme beheben, falls etwas schiefgeht.

Aber der größte einschränkende Faktor ist die Stromversorgung.

„Das Rechenzentrum selbst bietet Netzwerkverbindungen und Energie an, und das ist derzeit tatsächlich der größte einschränkende Faktor.“

Als Nächstes kommt die Kühlung. Heutzutage ist die Flüssigkeitskühlung zur unvermeidlichen Wahl geworden, da die Luftkühlung die Anforderungen nicht mehr erfüllen kann. Viele Rechenzentren haben jedoch noch keine Genehmigung für die Installation von Flüssigkeitskühlsystemen erhalten. Du musst sogenannte „Side-Carts“ kaufen, die Flüssigkeitskühlung selbst einrichten und dann die Mitarbeiter des Rechenzentrums für die Installation bezahlen.

Dann kommt der Transport.

„Irgendwo in den USA gibt es gerade einen LKW, der mit GPUs beladen ist. Sein Wert entspricht dem Wert eines Hauses. Sollte der LKW in meinem Rechenzentrum ankommen? Wenn der LKW einen Unfall hat, die Luftfeuchtigkeit zu hoch ist oder die GPUs umkippen, habe ich das Gefühl, dass ich eine Menge Dinge verliere.“

Versicherungen sind sehr wichtig. Auch die Bedeutung der Abschreibungsbeträge tritt deutlich hervor.

Er erzählte auch eine wahre Geschichte über Verhandlungen: Sie hatten eine Charge GPUs aus Frankreich bestellt, aber die Lieferung ließ auf sich warten. Also sagte er zum Lieferanten: „Hör mal, ich habe ein besseres Angebot. Ich werde unseren Vertrag kündigen, weil du nicht pünktlich geliefert hast.“

„Denk daran, dass ich Miete für die genutzte Fläche im Rechenzentrum zahle. Wenn die Grafikkarten verspätet eintreffen, muss ich trotzdem die Miete für diese Fläche zahlen.“

Das ist der Druck. Schließlich schickte der Lieferant die Geräte wie versprochen zu.

IV. Die Mathematik der Rechenleistungsverteilung: 80 % selbst aufgebaut, 20 % gemietet

Wie verteilt man die Rechenleistung, nachdem man einen eigenen GPU-Cluster hat?

Weitzmans Modell sieht so aus:

Nehmen wir den November als Basis (100 % Auslastung), im Oktober erreicht die Auslastung 140 %, da dies ihr wichtigster Monat ist. Im Dezember beträgt sie möglicherweise nur 80 %, da alle zu Hause sind, aber nicht unbedingt lernen oder arbeiten.

„Ich kann nur 20 % der normalen Auslastung belegen. Lass mich das kaufen, das ist die sinnvollste Option.“

„Ich werde weitere 25 % der Bandbreitenauslastung nutzen und langfristige Verträge mit großen Cloud-Anbietern abschließen. Den Rest werde ich bei diesen großen Cloud-Anbietern sogenannte „Instanzressourcen“ mieten.“

Auf diese Weise behält er die Kontrolle über die Kernrechenleistung und behält gleichzeitig die Flexibilität, Spitzenlasten zu bewältigen.

V. Der größte strategische Fehler: Verpasste Chancen im B2B-Bereich

Während des Interviews erwähnte Weitzman wiederholt eine Entscheidung, die er bereut.

Im Jahr 2022 traf er die Gründer von 11 Labs. Damals lebte er in London und war von diesem Gründerpaar sehr beeindruckt. Aber er machte einen Fehler.

„Ich mochte ihre Strategie nicht. Ich dachte, dass die API für die Text-zu-Sprache-Funktion im Laufe der Zeit standardisiert wird. Man kommt schnell an den Punkt, an dem man diese API aufrufen kann. Auf deinem Computer, dann auf deinem Handy – was verkaufen sie dann noch?“

Damals glaubte er, dass die API zu einem kommerzialisierten Gut wird, das keine Investition wert ist.

„Also wollte ich mich nicht in dieses Geschäft einmischen, aber ich habe einen schwerwiegenden Fehler gemacht.“

Was er nicht realisierte, ist, dass die Bedeutung von KI-Labors wie 11 Labs in der fortwährenden Innovation liegt. Dein erstes Produkt ist dein Keil, und dann kannst du ständig neue Funktionen hinzufügen:

„Wenn du Text-zu-Sprache nutzt und das weltweit beste Modell erstellst, kannst du jetzt andere Stimmen ausprobieren. Jetzt kannst du Emotionen hinzufügen. Jetzt kannst du eine Sprachklonfunktion hinzufügen. Jetzt kannst du Sprache in Text umwandeln.“

„Das war mein Fehler. Ich dachte, dass ein Produkt, das nur eine API ist, eine schlechte Strategie ist, weil es zu einem kommerzialisierten Gut werden könnte. Ich habe auch das Kernargument über das Silicon Valley vergessen: Das Silicon Valley ist ständig in Innovation begriffen.“

Er fasste zusammen: „Der beste Weg, zu scheitern, ist, nicht am Wettbewerb teilzunehmen.“

VI. Die Logik des Datenmarktes: Einmalige Transaktionen statt wiederkehrende Einnahmen

Auf die Frage nach dem Datenmarkt gab Weitzman eine nüchterne Einschätzung.

„Das Erste, was man über den Datenmarkt verstehen muss, ist: Er ist kein geordnetes System. Es handelt sich nicht um jährliche wiederkehrende Einnahmen. Jede Transaktion ist nur eine einmalige Angelegenheit.“

Daher müssen Käufer von Daten diese Daten nicht noch einmal von dir kaufen. „Also ist das ein sehr riskantes Geschäft.“

Er führte die frühe Entwicklung von Unternehmen wie Mercor als Beispiel an: Sie konnten nicht sofort große Geldsummen erhalten, weil Investoren sehr besorgt über diese Situation waren.

Aber Daten haben auch ihren einzigartigen Wert. „Du musst Entschädigungen für diese Verluste zahlen. Das ist einer der Gründe, warum sie die Daten bei dir kaufen, statt sie selbst zu beschaffen.“

„Das ist ein sehr gutes Geschäft, wenn du es gut machst, aber dafür musst du ein sehr guter Betriebsexperte sein. Du musst sehr schnell sein.“

VII. Die wichtigste persönliche Geschichte: Heilung seltener Krankheiten mit KI

Am Ende des Interviews teilte Weitzman ein Gebiet, das ihn wirklich begeistert – die Anwendung von KI in der Pharmakologie und Biologie.

Eines seiner Familienmitglieder leidet seit sechs Jahren an einer schweren Autoimmun-Neuroentzündung. Er entnahm ihm 15 Wochen lang jede Woche Blutproben, die zur Genomsequenzierung, Proteomikforschung und RNA-Analyse in ein Labor geschickt wurden, und verglich die Ergebnisse mit selbst berichteten Daten zur Lebensqualität und Stimmungsänderungen.

„Ich habe täglich etwa sechs Jahre an Daten über ihn. Ich habe sie auf dem GPU-Cluster verarbeitet und viele Dinge entdeckt, die mir kein Arzt sagen konnte.“

Diese Krankheit wird „Orphan-Krankheit“ genannt, weil nicht viele Menschen daran leiden. Es gibt eine Facebook-Gruppe zu dieser Krankheit.

„Also organisiere ich Treffen. Das Genom aller Menschen, die an dieser Krankheit leiden, muss sequenziert werden. Dann werden alle diese Daten auf einem riesigen GPU-Cluster vergleichend analysiert, um die epigenetischen Faktoren zu finden. Es gibt einen gemeinsamen Faden zwischen ihnen.“

„Ich weiß, dass ich diese Krankheit heilen werde. Früher hätte ich nie die Chance gehabt, so etwas zu tun.“

Dann erzählte er seine eigene Geschichte: Mit 8 Jahren konnte er noch nicht lesen. Sein Vater musste ein Buch öffnen und es ihm vorlesen. Mit 13 Jahren zog er in die USA und konnte kein Englisch. Er hörte sich die 22 Hörbücher von Harry Potter mehrmals nacheinander an, bis er den Inhalt des ersten Kapitels auswendig konnte.

„Ich ging auf eine etwas schlechtere Oberschule und wählte keine AP-Kurse, weil ich viele Rechtschreibfehler selbst korrigierte. Ich musste mich auch darin trainieren, den englischen Teil des SAT zu lesen. Ich konnte den Text nicht lesen. Ich las zuerst alle Antworten und suchte dann nach der richtigen Lösung.“

Später studierte er Erneuerbare-Energien-Ingenieurwesen an der Brown University – weil er nicht für literaturwissenschaftliche Arbeit geeignet war.

Die Technologie hat mein Legasthenie-Problem gelöst und auch die Symptome meiner Aufmerksamkeitsdefizit-Hyperaktivitätsstörung gelindert. Sie wird die Krankheit meines jüngeren Bruders heilen. Und diese Methode hat bereits den Prostatakrebs meines Vaters erfolgreich geheilt.

„Das ist, was mich begeistert – tatsächlich wird die Lebensqualität aller Menschen verbessert. Denn ihr habt diese erstaunliche Maschine, die eine Billion Operationen ausführen kann. Du kannst so viele GPUs nutzen, wie du willst, um sie zu betreiben, und sie kann Probleme lösen, die wir kaum bewältigen können.“

„Es ist erschütternd, dass es bis heute immer noch Orphan-Krankheiten gibt. Das bedeutet, dass die Anzahl der betroffenen Menschen zu gering ist, um eine wirtschaftliche Machbarkeit zu erreichen. Wir haben die Fähigkeit, zu versuchen, dieses Problem zu lösen.“

SCHLUSSWORT

Cliff Weitzmans Geschichte ist kein Vortrag über Technologie, sondern eine Geschichte darüber, wie man echte Probleme mit Rechenleistung löst.

Er baute sein eigenes Rechenzentrum nicht, um seine Fähigkeiten zur Schau zu stellen, sondern weil Mieten zu teuer, zu langsam und zu eingeschränkt ist. Er verpasste den B2B-Bereich nicht, weil er nicht klug genug war, sondern weil er die Kraft der fortwährenden Innovation unterschätzte. Er engagiert sich in der Pharmakologie nicht wegen der Geschäftsmöglichkeiten, sondern weil seine Familienmitglieder leiden.

„Du brauchst Daten, du brauchst Rechenleistung, und du musst gute Fragen stellen. Wie ich gesagt habe: Triff 10 richtige Entscheidungen, eine pro Tag.“

„Oder Entscheidungen über tatsächliche Produkte, mit denen du diese schwierigen Probleme lösen kannst. Das ist einfach großartig.“

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „Hou Lang Evolution Planet“, Autor: Mark, veröffentlicht mit Genehmigung von 36Kr.