Elon Musk hat offiziell seinen Chip-Plan mit einer Leistung von einer Billion Watt angekündigt. Ein Partner von Sequoia Capital unterstützt ihn uneingeschränkt: xAI wird gewinnen.
Letzte Woche hat Elon Musk behauptet: „Wenn wir keine Chips kaufen können, bauen wir sie selbst!“
Musk hat die Gründung eines eigenen Wafer-Fabrik namens „Terafab“ angekündigt. Das Ziel ist es, jährlich eine Rechenleistung von einem Terawatt zu erzielen, und er will auch Rechenzentren in den Weltraum bringen.
Diese neue Chip-Fabrik befindet sich in Austin, Texas, USA. Ihr Ziel ist es, eine rekursive Verbesserung der Chips zu erreichen und nicht-herkömmliche Rechenmethoden zu erforschen. Das ultimative Ziel ist es, die menschliche Zivilisation in eine interstellare Zivilisation zu führen und das Weltall zu erobern.
Allerdings ist die Fabrik von beispielloser Größe, und das ultimative Ziel ist so grandios, dass einige Leute meinen, dass Musk damit nur Werbung macht, prahlt und leere Versprechen macht.
Gerade jetzt hat Shaun Maguire, ein Partner der renommierten amerikanischen Risikokapitalgesellschaft Sequoia Capital, Musk unterstützt und eine sehr kontroverse Beurteilung abgegeben:
xAI wird gewinnen.
Er meint, dass die Leute Musk erneut unterschätzen, insbesondere xAI.
Shaun ist kein Zuschauer. Er ist Partner bei Sequoia und hat die Investitionen von Sequoia in Projekte wie SpaceX, X/xAI geleitet oder mitgeleitet.
Mit anderen Worten: Er ist sowohl ein technischer Investor als auch einer der ersten und entschiedensten Anhänger des Musk-Ökosystems.
Der wichtigste Aspekt dieses Artikels liegt nicht darin, dass Shaun Musk erneut unterstützt, sondern darin, dass er versucht, die öffentliche Wahrnehmung von Musk von einem „Politiker“ zurück zu einem „technischen Organisator“ zu bringen.
Anscheinend hat sich Musks öffentliches Image in den letzten Jahren verändert.
Vor fünf Jahren sah man ihn eher als technischen Fanatiker an. Heute wird zunächst seine politische Haltung, die Kontroversen auf sozialen Plattformen, der Widerstand gegen Regulierungen und die Medienwirbel wahrgenommen.
Aber aus Shauns Sicht hat sich dadurch Musks grundlegende Arbeitsweise nicht verändert. Er verfolgt immer noch das Ziel, die größten Engpässe für den technologischen Sprung zu identifizieren und sie auf alle Kosten zu beseitigen.
Shaun gibt in seinem Artikel auch eine weitere sehr wichtige Beurteilung:
Selbst wenn Musk + xAI gewinnt, bedeutet das nicht, dass andere führende Labore verlieren. Der Markt für digitale Intelligenz wird einer der größten Märkte aller Zeiten sein, und der Markt für physikalische Intelligenz könnte schließlich noch größer werden.
Die Fehleinschätzung von xAI durch den Markt liegt nicht in den Modell-Rankings, sondern darin, dass die Außenwelt Musk nicht mehr aus der Perspektive eines „technischen Organisators“ versteht.
Musks wirklich seltene Fähigkeit: Die Zukunft voraussehen
In diesem Artikel von Shaun wird eine wichtige Fähigkeit von Musk erwähnt: Die Fähigkeit, Wendepunkte zu erkennen.
Bei diesen äußerst unintuitiven und schwer zu durchschauenden technologischen Wetten hat Musk möglicherweise eines der stärksten Gehirne der Welt.
Er hat ungefähr 80 % Wahrscheinlichkeit, richtig zu liegen. Beispiele sind: „Nur Computervision betreiben“, „Raketen wiederverwendbar machen“ und „AlexNet ist der Weg zu AGI“.
Heute erscheinen diese Beurteilungen wie Selbstverständlichkeiten. Aber als sie noch keine Konsensmeinung waren, waren es nicht viele, die bereit waren, große Wetten zu setzen.
Das Gleiche gilt für die KI.
2012 tauchte AlexNet auf und brachte Deep Learning von der Randforschung in die Hauptrolle.
Der NIPS 2012 - Artikel bewies, dass tiefe und große Convolutional Neural Networks in Kombination mit GPUs und Big Data die Bildklassifizierung auf ein bisher unvorstellbares Niveau heben können.
Die Wichtigkeit dieser Entdeckung ist heute allen bekannt.
Aber es war wirklich schwierig, dies 2012 und 2013 in Echtzeit zu verstehen, denn zuvor war das Neuronale Netzwerk jahrelang in Schwäche geraten.
AlexNet war nicht nur eine Verbesserung der Genauigkeit. Es war fast eine Ankündigung, dass die Kombination von Rechenleistung, Daten und tiefen Netzwerken die gesamte KI-Route neu schreiben könnte.
Was noch wichtiger ist, hat Musk diese Entdeckung offensichtlich frühzeitig mit realen Weltproblemen verknüpft.
Er blieb nicht bei der Erkenntnis, dass dieser Artikel wichtig war, sondern verband die visuelle Intelligenz schnell mit dem autonomen Fahren.
Die spätere Tesla-Strategie, unabhängig davon, ob die Außenwelt sie akzeptiert oder nicht, basiert auf einer sehr starken Prämisse:
Wenn Menschen hauptsächlich mit Hilfe des Sehsinns fahren, dann kann auch ein Computer möglicherweise hauptsächlich mit Hilfe des Sehsinns lernen, zu fahren. Diese Wette hat sich später zu Teslas klareren camera-first-Strategie entwickelt.
Betrachten wir nun die Deep Reinforcement Learning Ende 2013.
Im Dezember 2013 hat DeepMind bewiesen, dass die Kombination von Deep Neural Networks und Reinforcement Learning es ermöglicht, direkt aus Pixel-Eingaben Steuerstrategien zu lernen.
Titel: Playing Atari with Deep Reinforcement Learning Link: https://arxiv.org/abs/1312.5602
Seitdem kann die KI nicht nur die Welt „verstehen“, sondern zeigt auch die ersten Anzeichen, „zu handeln“ zu lernen.
Google hat sehr schnell auf diese Entdeckung reagiert.
Am 26. Januar 2014 hat Google die Übernahme von DeepMind bestätigt. Die Zeit zwischen der Veröffentlichung des Artikels und der Bestätigung der Übernahme war sehr kurz.
Es ist bemerkenswert, dass Musk in diesem Stadium bereits einer der Mitbegründer von OpenAI war.
Also will Shaun nicht beweisen, dass Musk immer richtig liegt, sondern dass er oft in der Lage ist, wenn es um wichtige, unintuitive und zukunftsträchtige technologische Wendepunkte geht, diese zu erkennen, bevor die meisten anderen reagieren, und dann sofort zu wetten.
Er hat die KI früh verstanden, aber den wichtigsten Wendepunkt verpasst
An dieser Stelle müssen wir die Legende etwas durchbrechen.
Obwohl Musk gut darin ist, Technologien vorherzusagen, hat er nicht immer richtig gelegen. Er hat viel verstanden, aber er hat tatsächlich einen wichtigen Wendepunkt verpasst.
Dieser Wendepunkt ist das Sprachmodell.
Das Problem ist, dass die KI nicht auf einem einzigen Hauptkurs voranschreitet.
2017 hat das Google-Team das Transformer-Modell vorgeschlagen.
Der Artikel „Attention Is All You Need“ hat fast die Grundstruktur der natürlichen Sprachverarbeitung neu geschrieben. Anstatt auf RNN und CNN zu setzen, nutzt es den Attention-Mechanismus, um globale Abhängigkeiten direkt zu modellieren, was die Effizienz des parallelen Trainings erheblich verbessert und den technologischen Weg für die Explosion der großen Sprachmodelle geöffnet hat.
Heute betrachtet ist dies natürlich das Tor zu einer Zeit der großen Modelle.
Aber Musk hat nicht wie bei AlexNet und DeepMind nach der Entstehung des Transformers seine KI-Prioritäten neu gesetzt. In dieser Phase hat er die Geschwindigkeit, mit der die Sprachroute zum Hauptzugang zu AGI werden würde, vorübergehend unterschätzt.
Der echte Wendepunkt war am 30. November 2022.
An diesem Tag hat OpenAI ChatGPT offiziell veröffentlicht. Dies war der Auslöser, der die Fähigkeiten der großen Modelle erstmals in großem Maßstab der Öffentlichkeit zugänglich machte.
Drei Monate später, am 9. März 2023, wurde xAI gegründet. Am 12. Juli desselben Jahres hat Musk xAI offiziell bekannt gegeben und betont, dass diese Firma eng mit X, Tesla und anderen Systemen zusammenarbeiten wird, während sie sich gleichzeitig als eigenständige Einheit behält.
Der Zeitraum zwischen diesen beiden Ereignissen ist sehr kurz. Es scheint eher so, als ob eine Beurteilung in kürzester Zeit korrigiert wurde.
Shauns Vermutung ist, dass ChatGPT Musk dazu gebracht hat, erneut zu akzeptieren, dass Sprache auch ein gangbarer Weg zu AGI ist, und zwar nicht nur ein Ergänzungsweg, sondern einer der Hauptwege, die unbedingt hinzugefügt werden müssen.
Dies bedeutet nicht, dass die visuelle Route aufgegeben wird. Im Gegenteil, die Sprachroute wird wieder in das größere technologische Gesamtbild integriert.
Die visuelle Intelligenz ist für den Kontakt mit der Welt zuständig, die Sprache für Abstraktion, Kompression, Schlussfolgerung und Verallgemeinerung. Roboter sind für die Aktion und Rückmeldung verantwortlich, die Plattform für die Datenverteilung und die Benutzeroberfläche, und die Rechenleistungsinfrastruktur sorgt dafür, dass alles wirklich skaliert werden kann.
Die Gründung von xAI zeigt, dass Musk endlich akzeptiert, dass AGI nicht nur über das visuelle System vorangetrieben werden kann.
xAI ist auch das letzte wichtige Puzzlestück in Musks technologischem Gesamtbild. Nachdem dieses Stück hinzugefügt wurde, können die zuvor voneinander unabhängigen Elemente X-Plattform, Grok, Tesla-Vision-Stack, Optimus, Trainingscluster, reale Welt-Daten nun möglicherweise einheitlich erklärt werden.
xAI: Mit Rechenleistung in der Hand, keine Sorgen um die KI
Betrachten wir nun diesen Rahmen in Bezug auf xAI.
Die Außenwelt sieht es derzeit als chaotisch an:
Mehr als die Hälfte der 12 Gründungsmitglieder ist im vergangenen Jahr gegangen.
In Bezug auf die Code-Fähigkeit und den Umsatz liegt xAI derzeit hinter Anthropic und OpenAI zurück.
Viele Leute behaupten daher, dass xAI „nicht mehr mithalten kann“.
Aber aus einem anderen Blickwinkel betrachtet, meint Shaun:
Bei xAI hat Musk die Rechenleistung (Compute) als höchste Priorität, gefolgt von der Rangliste der Modellfähigkeiten.
Und jetzt ist die Rechenleistung