Chef des Google-Agenten: Abgesehen von Chips geht es bei KI in China und den USA um Energie.
Am 8. Juli wurde berichtet, dass Omar Shams, der Leiter der Agent-Business von Google, kürzlich im Podcast "Manifold" zu Gast war und ein Interview mit Steve Hsu, einem Professoren für Computermathematik an der Michigan State University und Gründer des Anwendungsentwicklers für Large Language Models Superfocus.ai, gab. Shams gründete einst das AI-Startup Mutable, das später von Google übernommen wurde.
Im Gespräch äußerte Shams zahlreiche Ansichten zu Schlüsselthemen wie den Engpässen bei der AI-Rechenleistung, der Umsetzung von Agent-Anwendungen, dem Wettbewerb um Talente und den Veränderungen der Branchenstruktur. Im Folgenden finden Sie die Kernaussagen dieses Gesprächs:
1. Zwei Engpässe bei der AI-Entwicklung: Chips und Energie. Shams betonte, dass zwar Chips wichtig sind, aber die Energieversorgung der entscheidende Faktor für die langfristige Entwicklung der AI sei.
2. Das US-amerikanische Stromnetz kann die Energiebedürfnisse der AI nicht decken. Die Erweiterung des US-Stromnetzes erfolgt nur langsam, während China jedes Jahr eine größere zusätzliche Stromerzeugungskapazität aufbaut als die Vereinigten Königreich und Frankreich zusammen. Der Unterschied in der Energieversorgungskapazität wird offensichtlich.
3. Um die Energiegrenzen der Erde zu überwinden, schlug Shams vor, Sonnenkraftwerke auf dem Mond oder im Weltraum zu errichten, um die Rechenleistung für die AI bereitzustellen.
4. Shams erklärte, dass das Wachstum der Modellleistung zwar logarithmisch verlaufen würde, aber bei bestimmten Größenordnungen sprunghafte Verbesserungen auftreten würden. Die Wissenschaftsgemeinschaft müsse neue Theorien entwickeln, um dieses "Phasenübergangs"-Phänomen zu verstehen.
5. AI-Agenten verändern die Softwareentwicklungstruktur. AI-Tools automatisieren inzwischen mehrstufige Programmieraufgaben, was dazu führt, dass junge Ingenieure an Bedeutung verlieren und Teams stärker auf Technologieleiter angewiesen sind.
6. "Tacit Knowledge" (implizites Wissen) entscheidet über den Erfolg von AI-Projekten. Shams betonte, dass es in der AI-Branche tatsächlich das schwer zu quantifizierende Intuition, die Erfahrung und das Urteilsvermögen sind, die über den Erfolg oder Misserfolg eines Projekts entscheiden. Solches "implizites Wissen" sei zwar schwer zu vermitteln, aber es sei der Kernkompetenz von Spitzen-AI-Talenten.
7. Shams sieht ein positives Zukunftsperspektive für die AGI (Künstliche Allgemeine Intelligenz) und warnt junge Menschen: Um mit der Entwicklung der AI Schritt zu halten, reiche es nicht aus, nur Wissen zu haben. Nur durch häufige Praxis und die aktive Umsetzung können sie die Initiative für die Zukunft ergreifen.
Im Folgenden finden Sie die neuesten Highlights aus Shams' Erfahrungen:
Verhindert das US-amerikanische Stromnetz die Entwicklung der AI? Baue Sonnenkraftwerke auf dem Mond, um die AI mit Strom zu versorgen
Frage: Habe ich gehört, dass die Gründung von OpenAI mit der Übernahme von DeepMind durch Google zusammenhängt. Damals versteckten sich Elon Musk und Luke Nosek, Mitbegründer von PayPal, in einem Schrank auf einer Party, um DeepMind-Gründer Demis Hassabis anzurufen und ihm anzubieten, das von Google angebotene 600 Millionen US-Dollar-Paket zu matchen. Aber Hassabis weigerte sich direkt: "Selbst wenn Sie das Geld zusammenkriegen, können Sie nicht die Rechenleistung bieten, die Google zur Verfügung stellen kann." Später befürchtete Musk, dass Google die AGI-Technologie monopolisiert, weshalb er die Gründung von OpenAI unterstützte. Wissen Sie etwas davon?
Shams: Ich habe diese Geschichte noch nie gehört. Da ich derzeit bei Alphabet arbeite, möchte ich einige Dinge lieber nicht zu ausführlich kommentieren. Insgesamt gibt es in diesem AI-Wettlauf viele Aspekte, die diskutiert werden können. Die AI-Branche steht tatsächlich vor zwei Engpässen: Chips und Energieversorgung. Letztendlich kann keine Algorithmus funktionieren, wenn nicht genug Strom zur Verfügung steht.
Frage: Wenn man über den Wettbewerb zwischen China und den USA in der AI spricht, treten diese beiden Probleme auf. Bei den Chips geht es um die Konkurrenz zwischen NVIDIA und Huawei, während der Unterschied bei der Energieversorgung noch größer ist. Die Verbesserung der Stromversorgungskapazität des US-Stromnetzes ist sehr schwierig, während die Stromerzeugung in China rasant wächst. Die jährliche zusätzliche Stromerzeugung in China entspricht der gesamten jährlichen Stromerzeugung des Vereinigten Königreichs oder Frankreichs, während die USA sieben Jahre brauchen würden, um dieses Niveau zu erreichen. Derzeit wächst die Stromerzeugung in China doppelt so schnell wie in den USA. Daher wird die Lösung des Energieversorgungsproblems der Schlüssel für die zukünftige Entwicklung der AI sein. Wie kann die Lücke bei der Energieversorgung geschlossen werden?
Shams: Ehrlich gesagt, ist die Modernisierung des US-Stromnetzes kaum möglich, da es zahlreiche gesetzliche Beschränkungen gibt, die die Entwicklung verlangsamen. Ich überlege sogar, ob man nicht die Kraftwerke in den Weltraum oder auf den Mond verlegen sollte. Obwohl das wie eine Science-Fiction-Geschichte klingt, hat der ehemalige Google-Chef Eric Schmidt bereits angefangen, an diesem Projekt zu arbeiten. Das von ihm finanzierte Unternehmen Relativity Space forscht gerade an diesem Thema. Er möchte die Rechenzentren in den Weltraum verlegen, da dort die Energieversorgung nicht so stark eingeschränkt ist wie auf der Erde.
Frage: Wird die Energie aus Sonnenkollektoren oder aus Reaktoren stammen, die in der Umlaufbahn um die Erde positioniert sind?
Shams: Die Energie wird wahrscheinlich hauptsächlich aus Sonnenkollektoren stammen, nicht aus Kernenergie. Der Grund dafür ist, dass die Nutzung von Kernenergie international streng reguliert ist und ein Unfall bei der Raketenstart zu katastrophalen Folgen führen könnte. Daher ist Kernenergie für den Weltraum nicht geeignet.
Frage: Denken Sie nicht, dass man um so viel Energie zu sammeln, möglicherweise 1 Quadratkilometer oder sogar 10 Quadratkilometer Sonnenkollektoren im Weltraum anordnen müsste?
Shams: Ja, das ist wirklich eine sehr verrückte Idee. Ich habe einige Berechnungen angestellt, und es scheint, dass man tatsächlich etwa 1 Quadratkilometer Sonnenkollektoren oder sogar mehr benötigt, um eine Leistung von einem Gigawatt zu erreichen. Meine Intuition sagt mir, dass es enorme Ressourcen erfordern würde, diese Sonnenkollektoren in den Weltraum zu bringen. Daher ist dies tatsächlich eine enorme Herausforderung.
Außerdem können die Sonnenkollektoren nicht in niedriger Umlaufbahn positioniert werden. Wenn man 10 Quadratkilometer Sonnenkollektoren anordnet, wie ich in meinen Berechnungen herausgefunden habe, würden Astronomen wahrscheinlich stark dagegen protestieren. Die ideale Position für die Anordnung der Sonnenkollektoren wäre daher ein Lagrange-Punkt.
Ein Lagrange-Punkt ist ein spezieller Ort im Sonnensystem oder zwischen zwei Himmelskörpern, an dem ein Objekt in einer stabilen Umlaufbahn relativ zu diesen beiden Himmelskörpern verbleiben kann. Glücklicherweise gibt es im Sonnensystem viele Lagrange-Punkte, die sich für die Anordnung von Sonnenkollektoren eignen.
Der Hintermänner der AI-Programmierrevolution: Er war früher als Copilot am Start, aber wenig bekannt
Frage: Sie haben das Unternehmen Mutable gegründet und als Gründer und CEO drei Jahre lang geleitet. Dieses Unternehmen hat sich hauptsächlich auf die Entwicklung von AI-Programmiertools spezialisiert, richtig?
Shams: Ja, das stimmt. Ich habe im November 2021 dieses Unternehmen gegründet. Wir waren einer der ersten, die in den Bereich der AI-Entwicklungstools eingestiegen sind. Ungefähr zur gleichen Zeit hat auch Copilot begonnen. Heute entwickelt sich diese Branche sehr schnell. Unternehmen wie Cursor, die AI-Entwicklungstools anbieten, erzielen inzwischen ein Jahresumsatz von über 100 Millionen US-Dollar. Viele dieser Unternehmen haben schnell einen Umsatz von über 100 Millionen US-Dollar erreicht.
Frage: Ich weiß, dass Mutable in vielen heute üblichen Konzepten weit voraus war. Ich erinnere mich, dass "AI-Guru" Andrej Karpathy kürzlich einen Vortrag gehalten hat und einige Ideen vorgestellt hat. Obwohl er Sie nicht erwähnt hat, glaube ich, dass diese Ideen ursprünglich von Ihnen kamen, wie etwa die Möglichkeit, Software in einem bestimmten Kontext zu verstehen oder bessere Dokumentationen aus dem Unternehmenscode zu generieren. Ich denke, dass Sie in Mutable viele interessante Dinge gemacht haben. Möchten Sie darüber sprechen?
Shams: Tatsächlich hat Mutable viele Ideen erstmals entwickelt, die möglicherweise einen großen Einfluss auf die heutigen Produkte hatten. Ich habe viele Open-Source-Code-Bibliotheken gesehen, und obwohl man sich durch ständiges Lernen und das Sammeln von Erfahrungen schnell einarbeiten kann, ist es immer noch etwas langsam. Daher habe ich mir gedacht, warum nicht die AI helfen lassen? Warum nicht die AI dazu bringen, einen Artikel wie auf Wikipedia zu schreiben, um diesen Code zu erklären? Also habe ich mir einen Namen ausgedacht: Auto Wiki. Wir haben dieses Projekt umgesetzt und rekursive Zusammenfassungen verwendet, um den Code zu erklären. Das Projekt war nach seiner Veröffentlichung im Januar 2024 sehr erfolgreich.
Der interessanteste technische Aspekt ist tatsächlich der, den Karpathy in seinem Vortrag erwähnt hat. Er hat gesagt, dass Auto Wiki tatsächlich zu einem sehr nützlichen Kontext-Füllwerkzeug geworden ist, da die Large Language Models (LLMs) davon stark profitieren können. Tatsächlich denke ich, dass man die LLMs auf eine "menschliche" Weise trainieren kann, da ihre Trainingsdaten hauptsächlich aus menschlichen Daten und Erfahrungen stammen.
Das Vorhandensein dieser Code-Zusammenfassungsfunktionen ist also für die LLMs sehr hilfreich, nicht nur für die Suche (z. B. RAG - Retrieval Augmented Generation), sondern auch für die Generierung, insbesondere bei der Inferenz.
Frage: War es bei der Erstellung von Auto Wiki erforderlich, manuell einige Probleme zu korrigieren, um den Code zu generieren?
Shams: Wir haben eine Funktion, die es Benutzern ermöglicht, den generierten Inhalt zu bearbeiten, aber diese Funktion wird nicht häufig verwendet. Tatsächlich ist dies nicht erforderlich.
Es stimmt, dass der von der AI generierte Inhalt manchmal sogenannte "Halluzinationen" aufweist, aber ich denke, dass es bereits Technologien gibt, die dieses Problem effektiv lösen können. Selbst wenn es Halluzinationen gibt, ist Auto Wiki immer noch besser als nichts, insbesondere bei der Bearbeitung von einfachen Problemen.
Also durchsucht das Modell in diesem vollautomatischen Prozess zunächst die gesamte Code-Bibliothek, versteht sie und generiert kontinuierlich aktualisierte Dokumentationen.
Man kann dies als eine Art Inferenz verstehen: Das Modell generiert zunächst Inhalte und bezieht sich dann bei anderen Aufgaben auf diese Inferenz-Ergebnisse, um den Code besser zu verstehen und weitere Inhalte zu generieren.
Von Llama zu AGI: Mark Zuckerberg bezahlt 100 Millionen US-Dollar, nicht für Programmierer, sondern für "Weißheiten der Zukunft"
Frage: Warum ist Mark Zuckerberg bereit, 100 Millionen US-Dollar für einen Menschen auszugeben? Was hat er an diesem Menschen erkannt? Können die Fähigkeiten einiger Menschen wirklich einen entscheidenden Unterschied für ein Unternehmen machen?
Shams: Ich kann nicht für Mark sprechen, und ich bin auch nicht sicher, ob die Zahl von 100 Millionen US-Dollar stimmt. Aber es gibt Berichte, dass er einige Spitzen-Talente von OpenAI abgeworben hat. Was die Talente angeht, denke ich, dass der Erfolg oder Misserfolg eines Unternehmens oft von der Zusammensetzung des Teams und der Rolle jedes Mitglieds abhängt.
Aber man kann das Team auch wie die Struktur eines Flugzeugs verstehen: Selbst wenn man einen starken Motor hat, kann das Flugzeug nicht fliegen, wenn es keine Flügel hat. Ebenso reicht es nicht aus, nur einen Genie zu haben. Zuckerbergs Entscheidung, hohe Gehälter für Spitzen-Talente zu zahlen, hat sicherlich ihre Gründe. Dieses Phänomen ist bei Unternehmern sehr verbreitet: Selbst wenn ein Gründer mit starken technischen Fähigkeiten Communication und Teamfähigkeiten fehlen, wird er letztendlich scheitern. Denn Investoren verstehen normalerweise keine Technologie und treffen Entscheidungen oft auf der Grundlage von Intuition und Gefühl.
Frage: Aber gründete Zuckerberg sein Super-Intelligenz-Team auch auf der Grundlage von Gefühlen?
Shams: Ich möchte hier nicht zu viel urteilen, aber ich muss zugeben, dass Zuckerberg ein sehr ausgezeichneter Gründer ist. Was seine Entscheidungen angeht, denke ich, dass dies eine sehr mutige Wette ist - eine solche Wette, die nur ein Gründer-CEO wie er mit Super-Stimmrechten wagen würde. Da Meta über eine sehr starke Cash-Flow verfügt, ist die Investition in die AGI (Künstliche Allgemeine Intelligenz) im Vergleich zu anderen Geldverbrennern eine relativ vernünftige Entscheidung. Ich denke, dass es noch zu früh ist, eine endgültige Beurteilung zu treffen. Wir sollten warten und sehen, wie es sich entwickelt.
Frage: Wenn ich seine Ressourcen hätte, würde ich mich auch fragen, warum nicht das stärkste Team zusammenstellen? Ich bezweifle nicht Zuckerbergs strategische Entscheidungen, sondern ich frage mich: Ist es wirklich die beste Strategie, 100 Millionen US-Dollar für die sogenannten besten Talente auszugeben? Auf den ersten Blick scheint dies sinnvoll zu sein - schließlich gibt es nur wenige Leute, die wirklich Ahnung haben. Aber die Gegenargumente sind ebenfalls stichhaltig: Solche Talente sind nicht so rar.
Shams: Hier gibt es tatsächlich einen subtilen Widerspruch: Wenn es in der Branche keine echten "technischen Geheimnisse" gibt, warum sollte man dann für Talente so hohe Preise zahlen? Meine persönliche Meinung ist, dass Unternehmen nicht konkret Technologien kaufen, sondern "komplexe Erfahrungen" oder "implizites Wissen".
Der Wert, den diese Talente bringen, besteht hauptsächlich darin, dass sie durch ihre in der Praxis gesammelten Urteilsfähigkeit und Intuition helfen können, einem Unternehmen häufige Fehler zu vermeiden und Zeit zu sparen. Beispielsweise hat Zuckerberg möglicherweise aus dem Llama-Projekt von Meta gelernt.
Die Entwicklung von AI ist wie das Bauen eines Flugzeugs: Selbst wenn man alle Theorien kennt, braucht man noch jemanden, der einem sagt, "welchen Schrauben man zuerst anziehen soll". Da die Zeit der AGI bald hereinkommen wird, ist er bereit, mehr zu zahlen, um diese Chance nicht zu verpassen. Man kann es so verstehen: Selbst wenn er viel zahlt, kann Meta es sich leisten, und die potenziellen Gewinne können enorm sein.
30 % der Programmierer verlieren in zwei Jahren ihren Job, die Personalpolitik der Unternehmen hat sich geändert
Frage: Wenn jemand Ihnen sagt: "Ich sehe jeden Tag auf sozialen Medien ein Video, in dem ein Agent alles für mich tun kann, aber die Leute, die ich kenne, haben tatsächlich nicht viel Nutzen von diesen Agenten gewonnen." Was würden Sie darauf antworten? In welchen Bereichen sind Agenten wirklich nützlich, und in welchen ist es nur Hype?
Shams: Ich denke, dass sich dieser Bereich sehr schnell entwickelt, aber viele Fortschritte brauchen noch Zeit, um verbreitet zu werden. Obwohl der Ökonom Tyler Cowen gesagt hat, dass die AGI ähnlich wie die Elektrizität 100 Jahre brauchen würde, um in die Wirtschaft zu dringen, stimme ich