Der Co-Leiter von Gemini verlässt OpenAI: Warum lässt Google KI-Genies immer frustriert zurück?

Google-Vizepräsident für Technik und Mitbetreuer von Gemini, Noam Shazeer, hat angekündigt, dass er seinen jetzigen Posten verlassen und sich bei OpenAI engagieren wird.

Heute hat Noam Shazeer in einem Beitrag auf X bekannt gegeben, dass er Google verlassen und sich bei OpenAI einschreiben wird. Dies wird wahrscheinlich der wichtigste Personalwechsel im Bereich Künstliche Intelligenz in diesem Jahr sein, da dieser 50-jährige Ingenieur einer der drei Leiter von Geminis, Googles nächster mächtigster KI-Technologie, ist.

Für Gemini ist dies zweifellos eine schwere Nachricht. Shazeer ist nicht nur Mitbetreuer von Gemini und Vizepräsident für Technik bei Google, sondern auch Mitautor wichtiger Papers wie Transformer, T5 und Switch Transformer und einer der Pioniere des sparsamen MoE-Modells.

Nach einem Beitrag des Chef-Forschenden von OpenAI, Mark Chen, wird Noam Shazeer Leiter der Architekturforschung bei OpenAI werden.

Der ehemalige Senior-Forscher von Ai2 und ehemalige Leiter des Trainings, Nathan Lambert, konnte sich nicht enthalten, zu bemerken: OpenAI hat damit wohl das sogenannte "Problem der Vortrainingsgröße" gelöst.

Eine Person, die immer wieder zu Google zurückkehrte und immer wieder frustriert war

Nach Noam Shazeers LinkedIn-Profil war seine Beziehung zu Google während des größten Teils seiner Laufbahn prägend. Im Dezember 2000 trat er als Softwareingenieur bei Google ein. 2012 kehrte er erneut bei Google zurück und übernahm die Position des Chef-Softwareingenieurs. Im August 2024 kehrte er wieder zu Google zurück und übernahm die Position des Vizepräsidenten für Technik und Mitbetreuer von Gemini.

Dazwischen hatte er eine recht dramatische Gründungsgeschichte.

2021 verließ Shazeer Google und gründete Character.AI. Der Auslöser war, dass Google die Veröffentlichung eines von ihm mitentwickelten Chatbots ablehnte. Damals arbeitete er mit seinem Google-Kollegen Daniel De Freitas an einem Chatbot namens Meena, der in der Lage war, natürliche Gespräche zu einem breiten Spektrum von Themen zu führen.

Nach Angaben von Personen, die mit den relevanten Dokumenten vertraut sind, hat Shazeer in einem weit verbreiteten Memorandum "Meena Eats the World" vorhergesagt, dass dieser Chatbot möglicherweise die Google-Suche ersetzen und Billionen von Dollar an Einnahmen generieren könnte.

Es war nicht nur dieses eine Ereignis. Tatsächlich war seine KI-Karriere bei Google von einer immer wiederkehrenden Frustration geprägt.

Als Shazeer 2000 bei Google eintrat, war er einer der ersten Hundert Mitarbeiter der Firma. Damals verlangte Google, dass jeder Mitarbeiter einen Mentor haben musste. Shazeer erinnerte sich später in einem Podcast, dass er beim Eintritt in die Firma über nichts Bescheid wusste und alles von seinem Mentor fragte. Sein Mentor war Jeff Dean. Er scherzte auch, dass nicht jeder bei Google alles wisse, sondern nur Jeff Dean, da er viele Dinge geschrieben habe.

Shazeer hat sich bereits früh mit KI beschäftigt. Er sagte in einem Podcast, dass er bei der Anstellung bei Google den einfachen Gedanken gehabt habe, zunächst etwas Geld zu verdienen, um später langfristig an KI-Forschung zu arbeiten. Später räumte er auch ein, dass Google tatsächlich für eine Zeit ein sehr guter Ort für KI-Forschung war.

2012 trat er erneut bei Google Brain ein. Shazeer erinnerte sich später in einem Podcast, dass er um 2012 für eine Zeit Google verlassen hatte und einmal nur in die Firma zurückgekehrt war, um mit seiner Frau Mittag zu essen. Zufällig setzte er sich neben Jeff Dean und das frühe Google Brain-Team. Shazeer sagte, dass sein erster Gedanke war: "Wow, das ist eine Gruppe sehr intelligenter Leute." Shazeer wurde erneut von dieser Gruppe angezogen, und Jeff Dean meinte scherzend, er habe ihn "zurückgelockt".

Shazeer verspottete sich selbst und sagte, dass er scheinbar alle 12 Jahre "wieder einmal bei Google eintritt": 2000, 2012 und 2024.

Die repräsentativste Frustration in dieser Geschichte war jedoch nicht nur, dass ein Projekt nicht veröffentlicht wurde, sondern die Opportunitätskosten und die Systemkomplexität, mit denen ein Genie-Forscher in einem großen Unternehmen konfrontiert wird.

Shazeer sagte in einem Podcast, dass Larry Page früher oft sagte, dass die zweitgrößten Kosten von Google die Steuern seien und die größten Kosten die Opportunitätskosten. Das heißt, es ist nicht so schlimm, etwas falsch gemacht zu haben, sondern vielmehr, dass man eine große Chance sieht, sie aber nicht ergreift. Bei Shazeer waren diese Opportunitätskosten besonders auffällig: Er sah früh das Potenzial von Sprachmodellen, Chatbots und der nächsten Generation von KI-Produkten, aber innerhalb von Google mussten diese Ideen oft unter Sicherheits-, Fairness-, Geschäfts-, Organisations- und Produktivitätsaspekten gewogen werden.

Zugleich ist die Entwicklung von großen Modellen nicht ein Prozess, bei dem ein "kluger Mensch eine Idee hat und sofort die Welt verändern kann". Shazeer sagte in einem Podcast, dass der ideale Zustand bei kleineren Forschungen darin besteht, morgens aufzuwachen, eine Idee zu haben, sie am selben Tag zu implementieren, einige Experimente durchzuführen und bald erste Ergebnisse zu sehen. Das Schwierige ist jedoch, diese Verbesserungen in ein großes System zu integrieren. Ein kleines Experiment kann vielversprechend aussehen, aber auf eine größere Skala übertragen, muss es nicht funktionieren. Auch wenn mehrere Verbesserungen einzeln wirksam erscheinen, müssen sie nicht zusammenarbeiten. Er sagte sogar, dass diese "Nicht-Zusammenarbeit" etwa in der Hälfte der Fälle auftritt.

Dies ist auch der frustrierendste Aspekt der Google-Art der KI-Entwicklung: Google hat die besten Forscher der Welt, die umfangreichsten Code-Bibliotheken, die fortschrittlichsten TPU und Rechenzentren, aber je größer die Trainingsskala wird, desto mehr werden die Probleme wie ein verwickelter Faden. Shazeer sagte, dass die größten Experimente nicht wirklich beschleunigt werden können und am Ende immer noch N=1-Experimente bleiben. Man muss einfach eine Gruppe intelligenter Leute in einem Raum setzen und die Ergebnisse beobachten, um zu entscheiden, warum etwas funktioniert oder nicht funktioniert. Wenn das Modell etwas schlechter wird, kann es daran liegen, dass die Quantifizierung zu aggressiv war, dass es Probleme mit den Daten gibt, dass es einen Fehler im Code gibt oder dass es Rauschen in einem unterliegenden System gibt. Noch schwieriger ist, dass neuronale Netze Rauschen tolerieren, und viele Fehler lassen das System nicht direkt abstürzen, sondern lassen das Modell nur leise verschlechtern.

Der von Google für 2,7 Milliarden Dollar zurückgeholte Mann wird wieder weggeholt

Rückblickend war Shazeer definitiv einer der stärksten Menschen im Bereich KI. Sein erstes wichtiges Projekt bei Google war die Entwicklung eines Systems zur Verbesserung der Rechtschreibkorrekturfunktion der Google-Suche. Kurz nach seinem Eintritt bei Google bat er den damaligen CEO Eric Schmidt um Zugang zu Tausenden von Rechenchips.

Schmidt erinnerte sich in einem Vortrag an der Stanford University im Jahr 2015, dass Shazeer ihm damals sagte: "Ich werde das Problem der allgemeinen Kenntnisse bis zum Wochenende lösen." Dieser frühe Versuch endete zwar mit einem Scheitern, aber Schmidt war überzeugt, dass Shazeer das Potenzial hat, eine KI mit menschlicher Intelligenz zu entwickeln. Schmidt sagte im Vortrag: "Wenn es jemanden auf der Welt gibt, der das am wahrscheinlichsten schaffen kann, dann ist es er."

2017 veröffentlichte Shazeer gemeinsam mit sieben anderen Google-Forschern das Paper "Attention Is All You Need", in dem ein Computersystem detailliert beschrieben wird, das in der Lage ist, nach einer Eingabe des Benutzers das nächste Wort in einer Sequenz zuverlässig vorherzusagen. Diese Arbeit bildete später die Grundlage für die Technologie der generativen KI.

Anschließend arbeitete Shazeer mit seinem Google-Kollegen Daniel De Freitas an einem Chatbot namens Meena. Dieser Chatbot konnte mit Menschen über verschiedene Themen zuverlässig kommunizieren. Nach Angaben von Personen, die mit den relevanten Dokumenten vertraut sind, hat Shazeer in einem weit verbreiteten Memorandum "Meena Eats the World" vorhergesagt, dass dieser Chatbot möglicherweise die Google-Suche ersetzen und Billionen von Dollar an Einnahmen generieren könnte. Die Google-Manager lehnten jedoch die Veröffentlichung dieses Chatbots für die Öffentlichkeit ab, weil sie Bedenken hinsichtlich Sicherheit und Fairness hatten.

2021 verließen Shazeer und De Freitas Google und gründeten Character.AI.

Aber das Unternehmertum war nicht erfolgreich. Das Unternehmen hatte kein stabiles Geschäftsmodell.

Einen Jahr später veröffentlichte OpenAI ChatGPT, was zeigte, dass die Nachfrage des Publikums nach KI-Chatbots viel höher war, als viele große Unternehmen vermutet hatten. Im März 2023 absolvierte Character.AI eine Finanzierung von 150 Millionen US-Dollar und erreichte einen Marktwert von 1 Milliarde US-Dollar.

Shazeer und sein Team hofften zunächst, dass die Menschen bereit wären, für die Interaktion mit verschiedenen Chatbots zu bezahlen. Diese Chatbots könnten sowohl praktische Ratschläge geben als auch Prominenzpersonen wie Elon Musk oder fiktive Charaktere wie Percy Jackson imitieren. Shazeer sagte in einem Podcast, dass solche Produkte für viele einsame oder deprimierte Menschen sehr hilfreich sein würden.

Aber mit der Entwicklung des Unternehmens stießen auch Character.AI auf einige Probleme, die vom ursprünglichen Plan des Gründerteams abwichen. Die Mitarbeiter mussten immer häufiger verhindern, dass Benutzer romantische Rollenspiele spielten, was nicht mit dem ursprünglichen Vision von Shazeer und De Freitas übereinstimmte. Gleichzeitig hatte Character.AI, wie viele andere KI-Start-ups, die versuchen, mit OpenAI, Microsoft und anderen Giganten zu konkurrieren, Schwierigkeiten mit den hohen Forschungs- und Entwicklungskosten. Es wurde immer schwieriger, Geld zu verbrennen, bevor ein stabiles Einnahmequell aufgebaut wurde.

Im Jahr 2024 erwog Shazeer, für Character.AI weitere Finanzierungen zu suchen und kontaktierte potentielle Käufer, darunter auch das Mutterunternehmen von Facebook, Meta. Schließlich schloss Character.AI einen Deal mit dem Mutterunternehmen von Google, Alphabet, und teilte in einem Blog mit, dass sich die Landschaft der KI-Branche seit der Gründung des Unternehmens verändert hatte.

Google zahlte dafür rund 2,7 Milliarden US-Dollar für die Lizenz der Technologie von Character.AI. Shazeer kehrte selbst mit dem Titel des Vizepräsidenten zu Google zurück und wechselte von der Leitung eines Unternehmens mit Hunderten von Mitarbeitern zu einer Forschungstätigkeit und übernahm die Leitung eines kleinen Teams, das auch De Freitas umfasste. Berichten zufolge hielt er 30 % bis 40 % der Anteile von Character.AI, was bedeutet, dass er persönlich 750 Millionen bis 1 Milliarde US-Dollar an Gewinnen machte.

Dieser Rückkehr brachte Google neue Motivation. Damals beschrieb ein Netizen die Reaktion der Google-Mitarbeiter auf X fast wie die "Auferstehung von Jesus". Hinter diesem übertriebenen Spruch steckt die besondere Stellung von Shazeer im Google-KI-Team: Er war nicht nur ein hochbezahlter Star-Forscher, sondern eher wie eine Schlüsselperson, die Google einmal verpasst hatte und nun wieder verzweifelt zurückholte.

Aber weniger als zwei Jahre später kehrte sich die Situation erneut um. Bei Shazeers Abgang bemerkte man, dass seine Abschiedsformulierung ungewöhnlich kurz war: Er erwähnte weder Character.AI noch das Team, das er hinterließ, sondern benutzte nur eine Formulierung wie "weitergehen". Daher spekulierten einige Netizen, dass dieser Abgang möglicherweise nicht nur ein normaler Jobwechsel war, sondern dass hinter ihm möglicherweise eine Art passiver Austritt oder zumindest eine abgemachte, anständige Trennung steckte.

Referenzlinks:

https://x.com/NoamShazeer/status/2067400851438932297

https://www.dwarkesh.com/p/jeff-dean-and-noam-shazeer

Dieser Artikel stammt aus dem WeChat-Account "InfoQ" (ID: infoqchina), Autor: Tina, veröffentlicht von 36Kr mit Genehmigung.