Fei-Fei Li im Gespräch mit Jeff Dean: KI kann die Wissenschaft beschleunigen, doch ihre Beschleunigung ist nicht unbegrenzt.

In der abschließenden Keynote-Rede bei Stanford HAI stellte Jeff Dean das neue Unternehmen Discovery Loop vor, an dessen Gründung er nach seinem Abschied von Google mitgewirkt hat. Seine Mission besteht darin, KI-Systeme zu entwickeln, die wichtige Probleme im Bereich des maschinellen Lernens, der Wissenschaft und der Ingenieurwissenschaften automatisch lösen können: Experimente vorschlagen, durchführen, die Ergebnisse bewerten, den nächsten Schritt bestimmen und jede Runde von Experimenten die nächste Runde fördern lassen. Im Anschluss führten Li Fei-Fei und Jeff Dean einen Dialog über die Unterschiede zwischen „Selbstverbesserung“ und „rekursiver Selbstverbesserung“, die Auswirkungen der KI beim Lösen schwieriger mathematischer Probleme, den Ausgangspunkt von Transformer, die Richtigkeit und Falschheit technischer Vorhersagen sowie die Angst dieser Generation junger Menschen angesichts von KI.

Im Folgenden ist das vollständige Transkript ihres Dialogs aufgeführt:

Li Fei-Fei: Lass uns zuerst über Discovery Loop sprechen. Warum gründet man jetzt ein solches Unternehmen?

Jeff Dean: Unsere Mission besteht darin, KI-Systeme zu entwickeln, die wichtige Probleme im maschinellen Lernen, in der Wissenschaft und in der Ingenieurwissenschaft automatisch lösen. Wir glauben, dass dies letztendlich mehr Entdeckungen für die Welt bringen wird. Viele Disziplinen haben einen gemeinsamen Zyklus: Experimente vorschlagen, durchführen und ausführen, Ergebnisse beobachten und messen, dann den nächsten Schritt bestimmen – meistens führt man einfach ein weiteres Experiment durch. Wir möchten diesen Art von Experimentierzyklus automatisieren. Wenn wir die Iterationszeit verkürzen, automatisch eine große Anzahl von Experimenten vorschlagen und durchführen, aus jeder Bewertung lernen und die nachfolgenden Experimente verbessern können, während wir gleichzeitig Qualität und Quantität der Experimente steigern, können wir bahnbrechende Ergebnisse erzielen.

Li Fei-Fei: Warum habt ihr es zu einem unabhängigen gemeinnützigen Unternehmen gemacht?

Jeff Dean: Wir glauben, dass Technologie, wenn sie richtig umgesetzt wird, erstaunliche positive Auswirkungen auf die Welt haben kann – aber alle müssen sich bemühen, sicherzustellen, dass diese positiven Auswirkungen eintreten. Deshalb haben wir das Unternehmen als gemeinnützige Gesellschaft registriert, mit der öffentlichen Mission, Technologien zur Lösung wichtiger gesellschaftlicher Probleme zu entwickeln, die Vorteile der Technologie breit zugänglich zu machen und das Leben der Menschen zu verbessern.

Li Fei-Fei: Und das Team?

Jeff Dean: Ich habe drei großartige Mitbegründer: Quoc Le, Sanjay Ghemawat und Oriol Vinyals. Wir arbeiten seit etwa 14 bis 30 Jahren zusammen und lieben es, schwierige Probleme gemeinsam zu lösen. Wir waren an Projekten wie Google Suche, Anzeigensystemen, Gmail, Nachrichten, Übersetzung, groß angelegten Infrastrukturen für maschinelles Lernen, TPUs, Modelldestillation, MoE, neuronaler Architektursuche sowie AlphaChip, AlphaFold und neuronaler Wettervorhersage beteiligt. Wir haben auch groß angelegte Teams geleitet: Ich habe Google Brain bis zu einer Größe von 600 Mitarbeitern geführt, später das Google Research- und KI-Team mit etwa 4400 Mitarbeitern. Aber später habe ich festgestellt, dass ich viel Zeit in Betriebsausgabensitzungen für das zweite Quartal verbringe, also habe ich mich entschieden, einen anderen Weg zu gehen. Wir sind auch sehr stolz darauf, dass viele Teammitglieder später an der Gründung von Unternehmen wie Anthropic, OpenAI und Physical Intelligence mitgewirkt haben.

Li Fei-Fei: Warum gerade jetzt? Welche technischen Voraussetzungen sind inzwischen ausgereift?

Jeff Dean: In den letzten 10 bis 15 Jahren hat sich die Leistung der Hardware-Ebene stark verbessert – TPUs, GPUs und spezialisiertere Hardware machen Fortschritte; die Software-Abstraktionen sind besser und können effizienter auf die Hardware abgebildet werden; die Modellarchitekturen wurden von word2vec, seq2seq, Transformer bis hin zu MoE stetig verbessert; die Trainingsalgorithmen sind besser, und durch Destillation können hochwertige kleine Modelle erstellt werden; auch die Inferenzalgorithmen haben große Fortschritte gemacht, sodass man durch mehr Berechnungen zur Inferenzzeit, Gedankenketten, mehrere Versuche und Überprüfungen bessere Ergebnisse erzielen kann. Aber gute Basismodelle reichen nicht aus. Man braucht Agenten zusammen mit Modellen, die Werkzeuge effektiv nutzen können, um komplexe Aufgaben zu erledigen – vor allem müssen sie kreativ sein: Nicht das wiederholen, was bereits getan wurde, sondern viele Erkenntnisse zusammenführen, etwas wirklich Neues vorschlagen und überprüfen, ob es funktioniert. Agenten und Modelle sollten auch aus früheren Experimenten und Erfahrungen lernen – zum Beispiel nachdem sie 5000 Probleme gelöst haben, von den relevantesten Problemen lernen können.

Li Fei-Fei: Wo liegen die Engpässe des traditionellen Experimentierzyklus?

Jeff Dean: Jede Phase des traditionellen Zyklus erfordert viel menschliche Arbeit. Wenn man größere Probleme löst, muss man sie in Teilprobleme zerlegen – und diese Zerlegung selbst ist schwierig; für jedes Teilproblem führen viele Menschen Experimente durch und probieren verschiedene Methoden aus, was zu hohen Koordinationsaufwänden, Ressourcenkonflikten und Systemeffekten führt. Schlimmer noch: Sobald ein großes Projekt gestartet ist, ist die frühe Art der Zerlegung nur schwer zu ändern. Unser Konzept ist: Eine kleine Anzahl von Fachexperten zusammen mit einem System, das automatisch in interessante Teilprobleme zerlegt und diese automatisch löst; Menschen können die Zerlegung leiten, auf wichtige Teilprobleme hinweisen und es kleinen Teams ermöglichen, Probleme mit großer Wirkung zu lösen. Voraussetzung ist, dass die Infrastruktur stimmt: Tausende von automatischen Experimenten, das System versteht den Wert dieses und jenes Experiments, trifft automatische Entscheidungen mit Verstärkungslernen oder Evolutionsalgorithmen, sodass frühere Entscheidungen flexibler überprüft werden können und jedes frühe Experiment Informationen für zukünftige Experimente liefert.

Li Fei-Fei: Was habt ihr seit der Gründung des Unternehmens getan?

Jeff Dean: In den ersten drei Wochen haben wir 400 Vorstellungsgespräche geführt, viele davon im Cafe Venetia in der University Avenue, um hervorragende Mitarbeiter zu finden; wir haben nach Büroflächen gesucht und befinden uns jetzt im ehemaligen Restaurant Zibibbo; wir haben unser eigenes Agent-Harness aufgebaut, das für alle Entwicklungen und Automatisierungen verwendet wird. Es verfügt über Kollaborationsfunktionen: Man kann mit dem Modell sprechen, es Probleme lösen lassen, aber auch Teamkollegen einladen, gemeinsam mit Modellen und Agenten zusammenzuarbeiten – andere können Kommentare abgeben oder den Agenten Entwurfsvorschläge unterbreiten. Wir bauen eine Agent-first-Infrastruktur auf, mit dem Ziel, auf Zehntausende oder Hunderttausende von Agenten zu skalieren, die Aufgaben erledigen, anstatt nur hunderten von Menschen. Wir haben etwa 20 Zyklen zur automatischen Verbesserung in Betrieb, um zu bewerten, wie die Iteration von Experimenten effektiver und schneller gestaltet werden kann und wie man aus früheren Ergebnissen lernen kann.

Li Fei-Fei: Auf welche Bereiche konzentriert ihr euch zuerst?

Jeff Dean: Zuerst konzentrieren wir uns auf wissenschaftliche und ingenieurwissenschaftliche Probleme, bei denen der gesamte Zyklus in digitaler Form abgeschlossen werden kann, da diese am einfachsten zu beschleunigen sind. Physische Prozesse verlangsamen den Zyklus, und in einigen Bereichen sind gemischte Methoden erforderlich. Derzeit liegt der Fokus auf der Forschung im Bereich des maschinellen Lernens, der Ingenieurwissenschaft für maschinelles Lernen selbst sowie dem Hardwaredesign. In diesen drei Bereichen haben wir Fachkenntnisse, und sie können auch andere Dinge freischalten. Zum Beispiel im Gesundheitswesen: Wenn es ein System gibt, das Aufgaben der Ingenieurwissenschaft für maschinelles Lernen automatisch lösen kann, kann man es auf Probleme im Gesundheitswesen, in der Materialwissenschaft und anderen Bereichen lenken und ein Modell anfordern, das auf eine bestimmte Aufgabe zugeschnitten ist. Das ist Selbstverbesserung, aber keine rekursive Selbstverbesserung. Das Gesundheitswesen ist ein langfristig wichtiger Bereich, aber im gegenwärtigen Stadium konzentrieren wir uns zuerst auf die Bereiche, in denen der digitale Zyklus am ausgereiftesten ist.

Li Fei-Fei: Dann erkläre uns „Selbstverbesserung“ und „rekursive Selbstverbesserung“ klar – viele Menschen verwenden sie austauschbar.

Jeff Dean: Ein selbstverbesserndes System funktioniert so: Man gibt dem System ein Ziel, das normalerweise über messbare Indikatoren verfügt, zum Beispiel die Genauigkeit des Modells; das System probiert verschiedene Modellarchitekturen aus, um die Genauigkeit zu erhöhen. Viele Algorithmen für maschinelles Lernen können das, aber das ist an sich nicht rekursiv. Zum Beispiel gibt man dem System eine große Menge an MRI-Daten und -Ergebnissen und lässt es ein Modell zur Interpretation von MRI-Bildern entwickeln – das System probiert automatisch verschiedene Methoden aus und prüft, ob die Genauigkeit steigt. Aber das verbessert nicht das grundlegende System, das „vorschlägt, was als Nächstes ausprobiert werden soll“. Rekursive Selbstverbesserung bedeutet: Kann man diese Methode der Selbstverbesserung verwenden, um das grundlegende System selbst zu verbessern, das Verbesserungsvorschläge macht.

Li Fei-Fei: Aber RSI wird stark gehyped, als ob es sich unbegrenzt beschleunigen könnte. Wo liegen die physischen Grenzen?

Jeff Dean: Die Art und Weise, wie Menschen die Fähigkeiten von Modellen verbessern, besteht darin, dass fähige Forscher und ML-Ingenieure gemeinsam eine große Anzahl kleiner Experimente durchführen, beurteilen, welche Ideen funktionieren und welche nicht, und dann die funktionierenden Dinge in das nächste Modell integrieren. So ist auch Gemini 2 nach Gemini 1 entstanden. Automatisierung kann diesen Prozess beschleunigen: Wenn ein Mensch ein Experiment durchführt, das um 2 Uhr morgens endet, schaut er sich die Ergebnisse möglicherweise erst um 8 Uhr morgens an; automatische Systeme können die Ergebnisse schneller auswerten, den nächsten Schritt bestimmen und möglicherweise auf der Ebene des gesamten großen Projekts bessere Entscheidungen treffen. Aber die Erstellung besserer Basismodelle erfordert tatsächliches Training und Experimente, man muss Berechnungen durchführen, Ergebnisse auswerten, Daten speichern und ein anderes Modell die Ergebnisse betrachten lassen, um den nächsten Schritt zu bestimmen. Das wird nicht unbegrenzt schnell verlaufen, es gibt tatsächliche physische Prozesse. Automatisierung wird die Verbesserungsgeschwindigkeit erhöhen, aber den Zyklus nicht unbegrenzt beschleunigen. Wenn man es als pragmatisches Ingenieursystem betrachtet, wirkt es weniger beängstigend und ist leichter verständlich.

Li Fei-Fei: Sind Menschen selbst selbstverbessernde Systeme oder RSI-Systeme? Zum Beispiel beim Lernen, Spiegeleier zu braten.

Jeff Dean: Menschen sind beides. Man lernt im Laufe des Lebens viele Dinge – das ist Selbstverbesserung; aber man lernt auch, „wie man lernt“. Das Erlernen des Lernens ermöglicht es dir, mehr Dinge schneller zu lernen, basierend darauf, welche Wissens- und Informationsdarstellungen du am leichtesten verstehst. Das kommt der rekursiven Selbstverbesserung näher. Rekursives Lernen und rekursive Selbstverbesserung können auch mit Evolutionsalgorithmen zusammenhängen.

Li Fei-Fei: In den letzten Wochen hat die KI große Fortschritte in der Mathematik gemacht, von Themen rund um die Navier-Stokes-Gleichung bis hin zu vielen neu veröffentlichten Arbeiten. Mathematik ist der Höhepunkt der menschlichen Intelligenz über Hunderte und Tausende von Jahren – Mathematiker achten nicht nur auf technische Lösungen, sondern auch auf Ästhetik. Wie siehst du diese Auswirkungen?

Jeff Dean: Modelle und Agent-Systeme, die Modelle hochparallel nutzen können, können tatsächlich sehr schwierige ungelöste mathematische Probleme lösen – das zeigt, was jetzt möglich ist. Viele Menschen fühlen sich unwohl, weil diese Beweise oft aus 500 Seiten Lean-Code bestehen, maschinenprüfbar sind, aber niemand wirklich den eleganten, einfachen Weg zum Ergebnis versteht. Es ist gut zu wissen, dass ein Problem bewiesen oder widerlegt wurde, aber Mathematiker entwickeln oft im Lösungsprozess elegante Techniken, die neue Mathematik erzeugen und für andere Probleme verwendet werden. Elegante Lösungen führen oft zu wiederverwendbaren, cleveren Techniken, aber in langen maschinengenerierten Beweisen sieht man solche klaren, eleganten Techniken nicht unbedingt. Wenn man aber weiß, dass etwas lösbar ist, spornt das in vielen Bereichen die Menschen an, sich mehr anzustrengen – zu wissen, dass man es schaffen kann, und es dann möglicherweise auf eine andere, elegantere Weise zu erreichen. Einerseits ist es also beunruhigend, dass so viele Probleme gleichzeitig gelöst werden; andererseits ist dies jetzt möglich geworden, und die Menschen müssen darüber nachdenken, wie sie diese Fähigkeit nutzen können, um mehr Mathematik zu betreiben.

Li Fei-Fei: Jetzt ein Überraschungsquiz: Welche Bedeutung hat der 12. Juni 2017?

Jeff Dean: Ist das der Tag, an dem das Transformer-Papier auf arXiv erschienen ist?

Li Fei-Fei: Richtig, A+. Hast du es am 12. Juni gelesen?

Jeff Dean: Nein, ich habe es ungefähr am 10. Juni gelesen.

Li Fei-Fei: Wenn man von diesem Ausgangspunkt auf die letzten zehn Jahre zurückblickt – was war dein persönlich wichtigster technischer Moment? Welche Vorhersagen sind richtig gewesen, welche falsch?

Jeff Dean: Einige Dinge stechen hervor. Transformer ist offensichtlich eine effizientere Modellarchitektur: Es speichert alle vergangenen Zustände und wendet Attention darauf an, anstatt einen kleinen Vektor ständig zu aktualisieren und frühere Zustände zu vergessen. Dadurch kann das Modell mit viel weniger Berechnungen mehr lernen. Auch die Destillation ist entscheidend: Die Arbeit, die ich zusammen mit Jeff Hinton und Oriol durchgeführt habe, wurde 2016 von NeurIPS abgelehnt – man sagte, sie würde wahrscheinlich keine Auswirkungen haben. Wir haben sie auf arXiv gestellt, und später wurde sie sehr oft zitiert. Sie ermöglicht es, ein großes Modell als Lehrer zu verwenden, um ein leichtes Schüler-Modell zu unterrichten und ein Modell mit hoher Inferenzeffizienz zu erstellen. MoE hat sich ebenfalls als sehr gut erwiesen. Ein Punkt, bei dem ich mich geirrt habe: Ich dachte, MoE würde zu wilderen, heterogeneren, organischeren neuronalen Netzwerkarchitekturen mit neuronalen Aktivitätsspalten und gelegentlichen großen Querverbindungen führen – aber tatsächlich ist MoE immer noch sehr strukturiert, die Experten haben die gleiche Größe und treffen sofort zusammen. Modelle, die durch