Von TPU zu sich selbst weiterentwickelnden Agenten – wie beurteilt Jeff Dean den nächsten Schritt der KI?

Auf der YC Startup School 2026 klang die Stimme von Jeff Dean etwas heiser.

Zu Beginn des Interviews erklärte er, dass er seine Stimme verloren habe und heute anders klinge als sonst. Das beeinträchtigte aber nicht die Aufmerksamkeit des Publikums. Diana Hu, YC-Partnerin, die vor ihm saß, nannte nacheinander eine Reihe von Namen, die in die Geschichte der Informatik eingehen: MapReduce, BigTable, TensorFlow, TPU, Gemini.

Jedes einzelne dieser Projekte wäre bereits ein Meisterwerk in der Karriere eines Ingenieurs. Dennoch tauchen sie alle gemeinsam im Lebenslauf von Jeff Dean und einer Gruppe von Google-Ingenieuren um ihn herum auf.

Diana gestaltete das Interview nicht als Rückblick auf seine Erfolge. Sie interessierte sich mehr für eine andere Frage: Wenn die generative KI die Softwarebranche bereits erobert hat, worauf konzentrieren sich Menschen wie Jeff Dean, die am besten darin sind, Systeme von Grund auf neu zu gestalten, heute eigentlich?

Die Antwort lautet nicht größere Modelle.

In diesem fast einstündigen Gespräch sprach Jeff Dean wiederholt über Inferenzhardware, Energie, Datenübertragung, Kontextengineering, langlaufende Agenten, automatisierte Experimentiersysteme und darüber, wie Startups die direkte Konkurrenz durch allgemeine Modelle umgehen können. Seine Ausführungen scheinen verteilt zu sein, aber dahinter verbirgt sich ein sehr klarer roter Faden: Die nächste Phase der KI besteht nicht nur darin, Modelle intelligenter zu trainieren, sondern Modelle in ein System zu integrieren, das langfristig arbeiten, kontinuierlich Fehler ausprobieren, Ergebnisse automatisch validieren und ständig Fähigkeiten aufbauen kann.

Das bedeutet auch, dass der Wettbewerb im Bereich der KI sich von der Frage „Wer hat das größere Modell?“ zu „Wer kann Intelligenz besser organisieren?“ wandelt.

I. KI ist bereits wie ein Junior-Ingenieur, aber das ist nicht die wichtigste Veränderung

Im Mai 2025 traf Jeff Dean eine weit verbreitete Diskussion auslösende Feststellung: Die Fähigkeiten der KI nähern sich denen eines Junior-Ingenieurs an.

Ein Jahr später fragte Diana ihn, wie gut diese Vorhersage eingetroffen ist.

Jeff Deans Antwort war direkt. Er hält diese Feststellung für „ziemlich zutreffend“. Die Fortschritte der Modelle bei der Agenten-Funktionalität, der Codierung langer Abläufe und komplexen Aufgaben sind sogar schneller verlaufen, als er damals erwartet hatte.

„Die Fähigkeit der Modelle, immer komplexere Aufgaben zu bewältigen, wächst schneller als ich erwartet habe“, sagte er.

Noch bemerkenswerter ist, dass diese Fähigkeit nicht mehr auf das Schreiben von Code beschränkt ist. Immer mehr Agenten-Systeme dringen in Wissenschaft, Ingenieurwesen und andere Fachbereiche vor. Sie beantworten nicht nur Fragen, sondern zerlegen Aufgaben, nutzen Werkzeuge, führen Experimente durch, lesen Ergebnisse aus und handeln weiter auf Basis von Rückmeldungen.

Wenn man KI mit einem Junior-Ingenieur vergleicht, lenkt das die Aufmerksamkeit leicht auf die Substitution von Arbeitskräften. Jeff Dean interessiert sich aber mehr für eine andere Ebene der Veränderung: Was passiert mit der Art und Weise, wie Produktion organisiert wird, wenn sich ein „Junior-Ingenieur“ in Dutzende oder Hunderte von Kopien vervielfältigen lässt, die parallel mehrere Tage oder sogar Wochen arbeiten?

In traditionellen Teams müssen sich Junior-Ingenieure in die Geschäftsabläufe einarbeiten, Werkzeuge verstehen und ständig Rückmeldungen erhalten. Bei Agenten ist das genauso. Nur bestehen ihre Schulungsmaterialien nicht nur aus Dokumenten, sondern aus Prompts, Werkzeugbeschreibungen, Fähigkeitsdateien, Testsystemen, Evaluatoren und der gesamten Kontextumgebung.

Das führt zu einer neuen Arbeitsteilung im KI-Ingenieurwesen.

Früher waren Ingenieure hauptsächlich dafür verantwortlich, Code zu schreiben. In Zukunft werden mehr Ingenieure Aufgaben übernehmen, Probleme zu definieren, Umgebungen aufzubauen, Spezifikationen zu erstellen, Rückkopplungsschleifen zu entwerfen und dann eine Gruppe von Agenten zu steuern, um die Aufgaben zu erledigen.

Genau so lautet auch Jeff Deans Vorhersage für 2027. Er glaubt, dass maschinelle Lernsysteme immer häufiger an der Verbesserung der maschinellen Lernsysteme selbst beteiligt sein werden. Sie zerlegen Ziele in Teilprobleme, führen automatisch eine große Anzahl von Experimenten durch, vergleichen die Ergebnisse und kombinieren die wirksamen Lösungen zu einem stärkeren neuen System.

„Solange es in einem Bereich ein messbares Ziel gibt, gibt es die Chance, große Fortschritte zu erzielen.“

Dieser Satz ist der erste Schlüssel für das gesamte Interview.

Die ersten Bereiche, in die die KI-Automatisierung vordringt, sind nicht unbedingt die mit dem größten Wissen, sondern die Bereiche mit der klarsten Rückkopplung. Ob Code den Test besteht, ob das Layout eines Chips die Fläche verringern kann, ob die Modellstruktur die Genauigkeit verbessert, ob die Materialeigenschaften den Anforderungen entsprechen – all diese Probleme haben relativ klare Bewertungsstandards. Solange der Evaluator zuverlässig genug ist, kann die Maschine mit sehr hoher Frequenz wiederholt Versuche durchführen.

Daher ist die wirklich wichtige Einheit im KI-Zeitalter möglicherweise nicht mehr eine einzelne Antwort, sondern ein vollständiger geschlossener Kreislauf: Lösungen vorschlagen, Lösungen ausführen, Ergebnisse messen, Richtung korrigieren.

II. Was die Google-Suche verändert hat, war eine einfache Rechnung

Viele von Jeff Deans repräsentativen Arbeiten gehen von einem sehr einfachen Ausgangspunkt aus: Zuerst die Größenordnungen klar berechnen.

Im Jahr 2001 stützte sich die Google-Suche noch stark auf Festplatten. Festplatten haben eine große Kapazität, sind aber langsam beim Zugriff. Jeff Dean und Sanjay Ghemawat führten eine Schätzung durch und stellten fest, dass der gesamte Suchindex von Google damals bereits in den Arbeitsspeicher aller Server passte.

Heute klingt das nur wie ein Upgrade des Speichermediums. Damals bedeutete es aber ein völlig anderes Systemdesign.

Wenn der Index hauptsächlich auf der Festplatte liegt, muss die Abfrage auf die mechanische Suche warten. Sobald der Index in den Arbeitsspeicher geladen wird, sinkt die Zugriffsverzögerung sprunghaft. Die beiden schrieben schnell eine neue Version und brachten sie innerhalb weniger Tage in die Produktionsumgebung. Dadurch wurde die Google-Suche deutlich schneller.

Diese Geschichte wird leicht als genialer Geistesblitz dargestellt. Jeff Deans Darstellung ähnelt eher der Aussage eines Ingenieurs über eine Selbstverständlichkeit: Wenn sich die Systembedingungen ändern und eine zuvor unmögliche Lösung plötzlich möglich wird, sollte man sie neu berechnen.

Viele Innovationen in der Industrie geschehen in solchen Momenten.

Ein altes Problem existiert seit langem, und die Menschen haben sich daran gewöhnt, Patches dafür zu entwickeln. Später überschreiten Hardwarepreise, Speicherkapazität, Netzwerkbandbreite oder Modellfähigkeiten einen kritischen Punkt, und die ursprünglichen Einschränkungen verschwinden. Aber die meisten Menschen verwenden weiterhin die alte Architektur, weil sie bereits zur Selbstverständlichkeit geworden ist.

Was Jeff Dean gut kann, ist es, Selbstverständlichkeiten wieder zu Hypothesen zu machen.

Er fragt: Warum muss das so sein? Sind die Größenordnungen von heute noch die von gestern? Wenn man den teuersten Schritt austauscht, wird das gesamte System dann eine völlig andere Form annehmen?

Das ist auch sein Rat an Gründer: Schaut nicht nur darauf, wo bestehende Lösungen mangelhaft sind, sondern betrachtet das Problem neu von den ersten Prinzipien aus. Kann man die Leistung um eine Größenordnung steigern? Kann man die Kosten um zwei Größenordnungen senken? Kann man nicht den branchenüblichen Implementierungsweg weiterverwenden?

„Manchmal muss man ein Problem nur mit zusammengekniffenen Augen betrachten, sich nicht von den heutigen Lösungen verankern lassen und von den ersten Prinzipien aus überlegen, wie es gelöst werden sollte.“

Dieser Satz klingt nicht geheimnisvoll. Das Schwierige daran ist, dass die meisten Menschen nach dem Eintritt in eine Branche schnell alle Standardantworten dieser Branche lernen. Erfahrungen helfen, die Effizienz zu steigern, aber sie lassen die Fähigkeit verlieren, neu zu fragen.

III. Warum drei Minuten Sprache einen TPU hervorgebracht haben

Im Jahr 2013 übertraf Googles tiefgreifendes Lernen für die Spracherkennung die alten Systeme deutlich. Die Fehlerrate halbierte sich, was dem Fortschritt der Spracherkennung in den letzten zwanzig Jahren entspricht, der sich innerhalb weniger Monate konzentriert vollzog.

Das Produktteam war natürlich aufgeregt. Jeff Dean rechnete aber zuerst eine Rechnung durch.

Wenn die Spracherkennung wirklich besser wird, werden die Nutzer sie eher nutzen. Angenommen, jeder Google-Nutzer nutzt die Spracherkennung täglich nur drei Minuten – wie viele Server braucht Google, um das zu unterstützen?

Das Ergebnis war nicht optimistisch. Nach der damaligen Effizienz von CPUs müsste Google die Serverkapazität möglicherweise verdoppeln.

Das war der Ausgangspunkt für den TPU.

Es entstand nicht, weil das Forschungsteam plötzlich Chips bauen wollte, auch nicht um zu beweisen, dass Google Hardware herstellen kann, sondern weil ein erfolgreiches Modell bald zu unerträglichen Dienstkosten führen würde.

Diese Geschichte offenbart ein oft übersehenes Gesetz im Bereich von KI-Produkten: Die Verbesserung der Modelleffekte senkt nicht immer die Kosten. Im Gegenteil: Je besser die Effekte, desto größer die Nutzung, desto stärker die Belastung des Systems.

Wenn die Spracherkennung schlecht funktioniert, rufen Nutzer sie selten auf. Die Systemkosten sind kein Problem. Wenn die Fehlerrate stark sinkt, wird die Nachfrage plötzlich freigesetzt, und die im Hintergrund verborgenen Einschränkungen der Rechenleistung treten hervor.

Der Weg, den TPU gewählt hat, besteht darin, spezielle Hardware für das Kernberechnungsmodus des maschinellen Lernens zu entwickeln. Er muss keinen Browser ausführen und keine allgemeinen Programme verarbeiten. Er ist hauptsächlich auf niedrigpräzise, dichte lineare Algebra spezialisiert. Diese Art von Berechnung steht genau im Zentrum des modernen maschinellen Lernens.

Die erste Generation des TPU brachte schließlich Gewinne in Größenordnungen. Nach Jeff Deans Angaben war er 30 bis 80 Mal energieeffizienter als die damaligen CPUs und GPUs und hatte eine 20 bis 30 Mal geringere Latenz.

Hier gibt es noch ein leicht zu übersehendes Designdimension.

Der TPU ist sehr spezialisiert, aber nicht so sehr, dass er nur ein bestimmtes festes Modell ausführen kann. Das Team wusste, dass sich die Algorithmen des maschinellen Lernens schnell weiterentwickeln werden, also entwarfen sie den Chip als ein relativ allgemeines lineares Algebra-System. Er opferte die Fähigkeit, Chrome oder Word auszuführen, behielt aber den Raum für die Unterstützung zukünftiger algorithmischer Weiterentwicklungen.

Das ist ein schwer zu haltendes Gleichgewicht. Wenn die Spezialisierung nicht ausreicht, sind die Gewinne nicht offensichtlich. Wenn sie zu stark ist, wird die Hardware veraltet, sobald sich der Algorithmus ändert.

Jeff Deans heutige Beurteilung von Inferenzhardware steht in klarem Zusammenhang mit dem damaligen TPU. Er glaubt, dass die nächste wichtige Chance immer noch in der Spezialisierung liegt, aber der Schwerpunkt sich weiter auf die Latenzarme, energiearme Inferenz verlagern wird.

„Stell dir vor, was du tun kannst, wenn sich die Latenz um das 50-fache verbessert.“

Wenn die Antwort des Modells mehr als zehn Sekunden dauert, betrachten die Menschen es als ein Werkzeug für gelegentliche Beratungen. Wenn die Latenz nahezu sofort ist, kann es wirklich in Schnittstellen, Roboter, Echtzeit-Videos, Betriebssysteme und kontinuierliche Entscheidungsprozesse eindringen.

Warten ist kein kleines Problem der Nutzererfahrung. Warten verändert die Produktform.

IV. Das Kostenzentrum der KI ist nicht die Berechnung, sondern die Datenübertragung

Wenn man für KI-Ingenieure im Jahr 2026 eine neue Version der „Latenzzahlen, die jeder Ingenieur kennen sollte“ aktualisieren möchte, ist Jeff Dean der Meinung, dass der Schwerpunkt sich von der Festplattensuche, Cache-Misses und interkontinentalen Netzwerklatenz auf den Datenfluss innerhalb des Chips verlagern sollte.

Ingenieure müssen wissen: Wie groß ist die Bandbreite vom Hauptspeicher zum On-Chip-Speicher, wie groß ist die Bandbreite vom On-Chip-Speicher zur Multiplikationseinheit, wie viel Energie braucht eine Multiplikation, wie werden Chips miteinander verbunden und wie sinkt die Netzeffizienz, wenn man von 500 Chips auf 10.000 Chips skaliert.

Diese Zahlen scheinen weit von Produkten entfernt zu sein, aber in Wirklichkeit bestimmen sie, welche Produkte realisierbar sind.

Jeff Dean nennt ein sehr beeindruckendes Verhältnis: Eine mathematische Multiplikation braucht etwa ein Pikojoule Energie. Das Verschieben von Daten vom Hochgeschwindigkeitsspeicher zur Recheneinheit kann etwa 1000 Mal mehr Energie kosten.

Mit anderen Worten: Die teure Aktion in heutigen KI-Systemen ist oft nicht das „Rechnen“, sondern das „Herbeischaffen der zu berechnenden Daten“.

Das erklärt auch, warum Stapelverarbeitung so wichtig ist.

Wenn eine Gruppe von Modellgewichten aus dem Speicher in die Recheneinheit verschoben wird und nur ein Token verarbeitet wird, fallen die gesamten Kosten der Datenübertragung auf dieses eine Token an. Wenn gleichzeitig eine größere Stapel verarbeitet wird, können dieselben Gewinne mehr Berechnungen bedienen, und die Energie- und Bandbreitenkosten werden verteilt.

Aber Stapelverarbeitung und niedrige Latenz stehen natürlich im Konflikt. Um genügend Anforderungen für eine Stapel zu sammeln, muss das System oft warten. Der Durchsatz steigt, aber die Antwort eines einzelnen Nutzers kann langsamer werden.

Daher sind viele Probleme, die scheinbar auf der Modellebene liegen, eigentlich Hardware- und Systemprobleme. Warum das Training große Stapel nutzt, warum die Inferenz KV-Cache braucht, warum Modelle niedrige Genauigkeit anstreben, warum