Jeff Deans letztes Gespräch vor seinem Ausscheiden: Ich habe die KI unterschätzt und den einzigen Überlebensweg für Unternehmensgründer klar erkannt

Vor einem Jahr prognostizierte Jeff Dean, Chefwissenschaftler von Google, auf dem Gipfel AI Ascent 2025: Bis 2026 könnten KI-Systeme entstehen, die rund um die Uhr arbeiten und über Fähigkeiten verfügen, die denen von Softwareentwicklern auf Einstiegsebene nahekommen.

Ein Jahr später, also vor 6 Tagen, gab er in einem YC-Interview zu, dass er das Tempo des KI-Fortschritts unterschätzt hatte. Die Fähigkeit der Modelle, komplexe Aufgaben zu bewältigen, wächst viel schneller als er damals erwartet hatte. Wie schnell wird die KI aus der Sicht von Jeff Dean in Zukunft weiter voranschreiten? Und wie können Startups in einer Zeit überleben, in der generische Modelle ihre Fähigkeitsgrenzen ständig erweitern?

In den frühen Morgenstunden heute erhielt dieses Interview eine neue Bedeutung. Jeff Dean kündigte an, dass morgen sein letzter Arbeitstag bei Google sein wird. Nach 27 Jahren bei Google wird dieser legendäre Ingenieur, der als „Programmierer unter den Programmierern“ im Silicon Valley gilt und tief an der Entwicklung von Googles Systemarchitektur und KI-Technologien beteiligt war, gemeinsam mit seinen langjährigen Partnern Sanjay Ghemawat, Oriol Vinyals und Quoc Le Discovery Loop gründen – ein gemeinnütziges Unternehmen, das sich auf die Spitzenforschung in den Bereichen maschinelles Lernen, Wissenschaft und Ingenieurwesen konzentriert. Google wird als Gründungspartner und Cloud-Computing-Partner weiterhin mit ihnen zusammenarbeiten.

Laut Informationen von WIRED tauchte diese Startup-Idee erst vor wenigen Wochen auf. Um dieses Kernteam zu halten, versuchte Sundar Pichai, CEO von Alphabet, in mehreren Treffen, sie davon zu überzeugen, „ihre Arbeitsausweise nicht zurückzugeben“. Schließlich entschieden sich die Mitglieder jedoch, das Großunternehmen zu verlassen, um den Spaß, die Geschwindigkeit und die Freiheit zu genießen, die nur ein Startup bieten kann.

Screenshot entnommen von: https://x.com/JeffDean/status/2085035498222002595/photo/1

In seinem Abschiedsbrief schrieb Jeff Dean, dass er miterlebt hat, wie Google von einem Unternehmen mit nur 25 Mitarbeitern zu einem Technologiegiganten mit mehr als 190.000 Mitarbeitern herangewachsen ist. Heute hat Google 13 Produkte mit über 1 Milliarde Nutzern. Von Suche, E-Mail, Übersetzung und Video bis hin zu Massenberechnung, autonomem Fahren und KI-Systemen durchziehen die von ihm mitentwickelten Technologien fast die gesamte Entwicklungsgeschichte von Google.

Ein wichtiger Grund für ihre Entscheidung, das Unternehmen zu verlassen, ist genau die Trägheit, von der sich Großunternehmen kaum befreien können. Wie Oriol Vinyals sagte, muss man in großen Organisationen erst zahlreiche Widerstände überwinden, um radikale Veränderungen voranzutreiben; sie wollen etwas Neues ausprobieren. Interessanterweise hat das neue Unternehmen bislang nicht einmal Zeit gehabt, Mitarbeiter einzustellen oder Büroräume zu mieten. Auf die Frage, wer CEO werden soll, blickten die Teammitglieder nach einer kurzen Pause zu Jeff Dean – „Ich denke, das werde ich sein“, sagte er.

Daher wirkt dieses Interview, das kurz vor Jeff Deans Abstieg veröffentlicht wurde, wie eine konzentrierte Einschätzung der nächsten Phase der KI, die er an einem Wendepunkt seiner Karriere abgibt. Im Gespräch erörterte er mit Diana Hu, Partnerin bei YC, den Paradigmenwechsel der KI von „modellzentriert“ zu „Kontext-Engineering“, die riesigen Chancen, die sich bei der Entwicklung von Inferenzhardware ergeben, und wie Gründer in einer Zeit, in der generische Modelle immer leistungsfähiger werden und immer mehr Anwendungen möglicherweise direkt von Modellen übernommen werden, einen echten, lohnenswerten Überlebensraum finden können.

Dieser Artikel basiert auf dem zugehörigen Interviewvideo und wurde von InfoQ bearbeitet.

Kurzfassung für Eilige

Frage: Letztes Jahr sagten Sie, dass bis 2026 KI-Systeme mit Fähigkeiten nahe denen von Entwicklern auf Einstiegsebene entstehen werden. Ein Jahr ist vergangen – wurde diese Prognose widerlegt?

Antwort: Sie ist ziemlich genau, aber ich habe eines unterschätzt: Die Fähigkeit der Modelle, immer komplexere Aufgaben zu bewältigen, wächst viel schneller als ich erwartet habe. Und diese Fähigkeit erstreckt sich auch auf Bereiche außerhalb der Codierung – Systeme auf Agentenbasis beginnen, sich richtig zu etablieren.

Frage: Wie lautet Ihre mutige Prognose für 2027?

Antwort: Deep-Learning-Systeme werden vollautomatische Problemzerlegung und automatisierte Experimentierzyklen realisieren: Probleme werden in Teilprobleme unterteilt, Experimente laufen automatisch ab, Ergebnisse werden zusammengeführt, und es entsteht ein verbessertes System. Dies gilt nicht nur für maschinelles Lernen, sondern für alle Wissenschafts- und Ingenieurbereiche mit messbaren Zielen.

Frage: 2001 lud Google den Suchindex in den Arbeitsspeicher – was ist der entsprechende „Laden in den Arbeitsspeicher“-Moment im Jahr 2026?

Antwort: Leistungsstarke, energiearme spezialisierte Inferenzhardware. Inferenz ist der Schlüssel, um Agenten-Systeme mehr Menschen zugänglich zu machen. Spezialisierte Hardware kann die Latenz um das 50-fache verbessern und die Energieeffizienz um das 30- bis 80-fache steigern. Damals wurde die physische Latenz der Festplattenadressierung eingespart, heute werden überflüssige Schritte der generischen Berechnung eingespart. Aber die Einsätze sind höher: Agenten benötigen Tausende von aufeinanderfolgenden Inferenzen, bei denen sich jede Latenz addiert.

Frage: Was ist das größte Missverständnis, das die Menschen heute über KI haben?

Antwort: Die Leute denken, Agenten führen nur temporäre Aufgaben von ein oder zwei Stunden aus. Aber mit einem leistungsstarken genauen zugrundeliegenden Modell können Sie Agenten mehrere Tage oder sogar Wochen lang kontinuierlich laufen lassen.

Frage: Was genau ergab sich aus der „Servietten-Mathematik“, die zur Entwicklung des TPU führte?

Antwort: 2013 verbesserte sich die Spracherkennung drastisch. Wir rechneten aus: Wenn jeder Nutzer täglich drei Minuten lang mit seinem Handy spricht, halten CPUs das nicht aus – also bauten wir den TPU. Jahre später, als das Transformer-Modell auf den Markt kam, bildete es genau die Grundlage dafür.

Frage: Welche Zahl aus der Liste der Latenzwerte für das KI-Zeitalter sollte man sich unbedingt merken?

Antwort: Eine Berechnung verbraucht etwa ein Pikojoule Energie, aber der kurze Weg, um Daten in den Prozessor zu laden, verbraucht das 1000-fache davon. Dieser Unterschied zwingt Sie dazu, Batching durchzuführen: Viele Proben werden zur gemeinsamen Verarbeitung zusammengefasst, sodass die Kosten auf „1000 geteilt durch die Batch-Größe“ verteilt werden.

Frage: Wie wählen Gründer den Bereich aus, in dem sie tätig werden wollen?

Antwort: Testen Sie den Bereich, den Sie bearbeiten möchten, mit dem aktuell leistungsstärksten generischen Modell. Wenn die Erfolgsrate des Modells 0 % oder 1 % beträgt, ist das ein gutes Zeichen. Wenn sie 20 % beträgt, ist das ein Warnsignal – die Fähigkeit hat sich bereits entwickelt, und das nächste Modell wird sie bald abdecken.

Frage: Welche Fähigkeit wird knapp, wenn Agenten den gesamten Code schreiben?

Antwort: Geschmack – zu wissen, welche Probleme Ihre Agenten lösen sollen. Zum einen kommt das aus der Erfahrung, viele Probleme gelöst zu haben. Zum anderen können Sie zehn Dinge notieren, die Ihrer Meinung nach in den nächsten 12 Monaten wichtig werden könnten, und nach einem Jahr überprüfen, welche davon tatsächlich wichtig geworden sind. Drittens sollten Sie verrückte Gedankenexperimente durchführen, zum Beispiel: „Wie würde ein System aussehen, wenn Transistoren 20 Mal pro Tag fehlschlagen, statt einmal alle hunderttausend Jahre?“

Die Revolution der leistungsstarken, energiearmen Inferenzhardware

Diana: Im Mai letzten Jahres auf dem AI Ascent-Gipfel sagten Sie, dass um 2026 herum KI-Systeme entstehen könnten, die rund um die Uhr arbeiten und Fähigkeiten nahe denen von Entwicklern auf Einstiegsebene haben. Wie nahe sind wir heute an dieser Prognose?

Jeff: Ich denke, die Modelle haben enorme Fortschritte bei der Bearbeitung von lang andauernden Codieraufgaben auf Agentenbasis gemacht. Heute ist es offensichtlich, dass sie bereits ziemlich leistungsfähig sind. Je nach genauer Definition von „Entwickler auf Einstiegsebene“ ist diese Prognose ziemlich genau.

Diana: Was haben Sie damals unterschätzt?

Jeff: Ich denke, die Fähigkeit, immer komplexere Aufgaben zu bewältigen, wächst viel schneller als ich erwartet habe. Und auch in Bereichen außerhalb der Codierung beginnen diese Agenten-basierten Systeme sich richtig zu etablieren – das wird ein wichtiger zukünftiger Trend sein.

Diana: Wie lautet die Prognose für das Jahr 2027?

Jeff: Ich denke, Sie werden mehr Automatisierung der maschinellen Lernsysteme selbst sehen. Genauer gesagt: Maschinelle Lernsysteme verbessern ihre eigene Fähigkeit, indem sie zahlreiche Experimente durchführen, Probleme in Teilprobleme unterteilen, diese in engen automatischen Experimentierzyklen ausführen und die Ergebnisse zusammenführen, um ein verbessertes System aus dieser vollautomatischen Problemzerlegung und automatisierten Experimentierung zu erhalten. Dies gilt nicht nur für maschinelles Lernen, sondern auch für andere Bereiche der Wissenschaft und des Ingenieurwesens. Im Grunde kann heute alles, was ein messbares Ziel hat, große Fortschritte machen.

Diana: 2001 lief die Google-Suche noch auf Festplatten. Sie und Sanjay haben nachgerechnet und erkannt, dass der gesamte Suchindex irgendwann in den Arbeitsspeicher aller laufenden Computer passt. Sie trafen diese radikale Entscheidung und haben gemeinsam mit Sanjay innerhalb weniger Tage eine völlig neue, auf Arbeitsspeicher statt Festplatte basierende Suchversion in die Produktion gebracht – genau das hat Google zu dem gemacht, was es heute ist.

Die Geschichte wiederholt sich: Was ist im Jahr 2026 dieser Moment, in dem „es in den Arbeitsspeicher passt“? Wo liegt dieser Wendepunkt, über den alle hier nachdenken und den sie gestalten sollten?

Jeff: Die Situation ist etwas anders, aber ich möchte sagen, dass Sie immer mehr leistungsstarke, energiearme Inferenzhardwaresysteme sehen werden. Denn heute ist allen klar: Inferenz ist der Schlüssel, um diese Agenten-Systeme mehr Menschen zugänglich zu machen. Latenz ist sehr wichtig, und die Spezialisierung von Hardware ist der zentrale Weg, um sowohl in der Energieeffizienz als auch in der Latenz besser zu sein als generische Rechengeräte wie GPUs oder CPUs.

Diana: Also meinen Sie, dass wir vielleicht nicht mehr warten müssen?

Jeff: Genau. Stellen Sie sich vor, was Sie tun könnten, wenn sich die Latenz um das 50-fache verbessert!

Diana: Welche Annahme über KI, die etwa 6000 Menschen hier im Kopf haben, ist eigentlich bereits falsch?

Jeff: Ich denke, die Leute haben das Potenzial, wie lange Agenten-Systeme laufen können, noch nicht vollständig erkannt. Man geht immer davon aus, dass Agenten nur temporäre Aufgaben von ein oder zwei Stunden ausführen. Tatsächlich können Sie diese Agenten aber in bestimmten Problemdomänen mit einem leistungsstarken genauen zugrundeliegenden Modell mehrere Tage oder sogar Wochen lang kontinuierlich laufen lassen, um komplexe, lang andauernde Probleme zu lösen. Das ist nicht nur ein Unterschied von „ein bisschen länger warten“, sondern ein qualitativer Sprung.

Diana: Welche Aufgaben, die Sie mehrere Wochen lang laufen ließen, haben Sie tatsächlich ausprobiert? Was haben Sie die Agenten lösen lassen?

Jeff: Zum Beispiel können Sie einen Agenten eine völlig neue Version einer Software implementieren lassen, die in einer anderen Programmiersprache neu geschrieben wird und bessere Sicherheits- oder Leistungseigenschaften hat. Er kann das wirklich ernsthaft und ziemlich zuverlässig erledigen.

Der Ursprung des TPU

Diana: Man weiß seit jeher, dass Sie besonders gut in „Servietten-Mathematik“ sind. Es gibt eine Geschichte über Sie: Als Googles Spracherkennung 2013 eingeführt wurde, haben Sie geschätzt: Wenn jeder Google-Nutzer täglich drei Minuten lang mit seinem Handy mit dem Spracherkennungssystem spricht, muss die gesamte Serverkapazität verdoppelt werden – das ist unglaublich teuer. Also haben Sie einen kundenspezifischen Chip entwickelt, das ist die Ursprungsgeschichte des TPU.

Jeff: Damals waren die auf Deep Learning basierenden Sprachmodelle, die wir trainiert haben, sehr gut geworden, aber der Rechenaufwand war viel höher als bei älteren Sprachsystemen – dafür wurde die Fehlerrate halbiert. Das bedeutete, dass 20 Jahre Fortschritt im Bereich der Spracherkennung in wenigen Monaten erreicht wurden, indem wir nur das Modell angepasst, es etwas skaliert und bessere Daten erhalten haben. Also begannen wir uns Sorgen zu machen: Wenn die Spracherkennung deutlich besser wird, werden die Menschen sie auch viel häufiger nutzen.

Die grobe Berechnung drehte sich also darum: Was passiert, wenn die Menschen die Spracherkennung häufiger nutzen, um E-Mails zu diktieren und mit ihrem Handy zu sprechen? Nach der Berechnung stellten wir fest, dass CPUs das nicht aushalten würden – also bauten wir den TPU, einen Chip, der speziell für dichtes lineares Algebra mit niedriger Genauigkeit entwickelt wurde, was heute der Kern fast aller maschinellen Lernalgorithmen ist.

Obwohl er nichts anderes als lineare Algebra berechnen kann und weder Chrome noch Word ausführen kann