Exklusives Interview: Jeff Dean über den nächsten Paradigmenwechsel der KI

Ich empfehle euch allen dringend ein Interview mit Jeff Dean, das sehr viele wertvolle Inhalte enthält und richtungsweisende Impulse für die Entwicklung der KI in den kommenden Jahren gibt.

Wer ist Jeff Dean? Er ist der technische Gründungsvater von Google. Die von Ihnen bekannten Produkte wie TPU, TensorFlow, MapReduce und Gemini stammen alle von ihm.

Und erst gestern hat Jeff Dean beschlossen, Google nach 27 Jahren zu verlassen, um das KI-Startup Discovery Loop. zu gründen.

Bild: Ein kürzlich entstandenes Foto von meinem Freund mit Jeff Dean

Der Name dieses Unternehmens ist die größte Vorahnung: Das nächste zentrale Paradigma der KI ist Rekursion und Automatisierung.

(1) Jedes Problem, das klar messbar ist, wird bald enorme Fortschritte machen

Ich gehe davon aus, dass Sie bis 2027 sehen werden, dass ML-Systeme selbst in großem Umfang automatisiert werden.

Wir können das System dazu bringen, seine Fähigkeiten durch eine Vielzahl von Experimenten ständig zu verbessern.

Die KI teilt das Problem automatisch in Teilprobleme auf, führt jedes Teilproblem in einem schnellen automatisierten Experimentierkreislauf aus, fügt die Ergebnisse wieder zusammen und erzeugt schließlich ein verbessertes System – der gesamte Prozess erfordert keine tiefgreifende menschliche Intervention.

Dieses Paradigma gilt nicht nur für maschinelles Lernen, sondern auch für andere Wissenschafts- und Ingenieurgebiete.

Im Grunde wird jedes Problem, dessen Ziel messbar ist, in den nächsten zwei Jahren große Fortschritte machen.

Bewertung: Diese Ansicht stimmt mit Jason Weis These der Asymmetrie der Überprüfung überein: Alles, was gemessen werden kann, kann auch gemeistert werden.

(2) Was ist der größte nicht konsensfähige Standpunkt im aktuellen KI-Bereich?

Der größte nicht konsensfähige Standpunkt ist, dass die Menschen noch nicht erkannt haben, wie lange Agenten autonom laufen können.

Es handelt sich nicht nur um ein oder zwei Stunden. In bestimmten Problembereichen und bei ausreichend leistungsfähigen zugrundeliegenden Modellen können sie Tage oder sogar Wochen laufen und sehr komplexe Aufgaben erledigen.

Nur wenige Menschen beginnen, dies zu ahnen, aber die überwiegende Mehrheit hat es noch nicht wirklich verinnerlicht – dies wird ein großes Ereignis sein.

Bewertung: Der Markt unterschätzt die Obergrenze von KI-Anwendungen. Der Verbrauch von Tokens sollte nicht nach Sitzungen berechnet werden, sondern man sollte sich eine Zukunft vorstellen, in der die Inferenzgeschwindigkeit 100-mal höher ist als heute und die KI autonom und dauerhaft betrieben wird.

(3) Es werden leistungsstarke Inferenzhardware mit niedrigem Energieverbrauch auftauchen

In Zukunft wird es immer mehr leistungsstarke Inferenzhardware mit niedrigem Energieverbrauch geben.

Denn inzwischen ist allen klar, dass mit der Entwicklung und Verbreitung von Agenten die Latenz der Inferenz immer wichtiger wird.

Die Anpassung der Hardware ist das Schlüsselmittel, um die Energieeffizienz zu erhöhen und die Latenz zu senken.

Stellen Sie sich vor, wie sich KI-Anwendungen entwickeln werden, wenn die Inferenzlatenz großer Modelle um das 50-fache gesenkt wird.

Betrachtet man dieses Problem nach dem Prinzip der ersten Ursachen: Eine Multiplikation verbraucht etwa 1 Pikojoule Energie, während das Verschieben von Daten tausendmal so viel Energie kostet.

Dieser tausendfache Unterschied prägt die zugrundeliegende Logik vieler Abläufe im Bereich des maschinellen Lernens.

Genau wegen dieses Energieunterschieds muss man viele Stichproben oder viele Tokens gleichzeitig zusammenfassen, um die Kosten der Datenübertragung zu verteilen – das ist das sogenannte Batching.

Im Gegenteil: Wenn Sie die Latenz senken wollen, ist Batching genau das Falsche.

Um die Inferenzlatenz zu senken, müssen Sie auf der Ebene der Hardware-Leistung Kompromisse eingehen.

Zum Beispiel brauchen Sie keine vielen verschiedenen Rechengenauigkeiten zu unterstützen. Wenn Sie bereits genau wissen, welche Genauigkeit Sie benötigen, integrieren Sie diese fest in die Hardware und lassen alle anderen Funktionen weg.

Bewertung: Beim Training steht der Durchsatz im Vordergrund, bei der Inferenz die Latenz. Beide haben gegensätzliche Anforderungen an das Batching – das ist die einfache Logik hinter leistungsstarker Inferenzhardware.

(4) Wie kann man verhindern, dass Agenten bei langwierigen Inferenzprozessen vom richtigen Weg abweichen?

Der übliche Grund, warum Agenten bei langwierigen Inferenzprozessen abweichen, ist, dass das Modell Aufgaben ausführt, für die es nur wenig Erfahrung hat.

Sobald es ein wenig von der ihm vertrauten Verteilung abweicht, verschlechtert sich seine Leistung wie bei allen ML-Modellen – je weiter es abweicht, desto schlechter wird es.

Es gibt zwei Lösungsansätze:

Der erste Ansatz besteht darin, Skills und Prompts zu verwenden, um es zurück auf die "hell erleuchtete Straße" zu lenken.

Der zweite Ansatz ist die Entwicklung eines Multi-Agent-Systems, bei dem mehrere Agenten verschiedene Pfade ausprobieren und ein weiterer Agent bewertet, welcher Pfad vielversprechend ist. Die vielversprechenden Pfade werden beibehalten, die abweichenden verworfen.

Dabei wird die Rechenleistung während der Inferenz genutzt, um im Lösungsraum zu suchen, was die Leistung und Zuverlässigkeit langwieriger Abläufe erheblich verbessern kann.

Bewertung: Unter der Voraussetzung, dass die Modellleistung unverändert bleibt, gibt es zwei Methoden, um den Loop zu realisieren: Entweder man verengt die Verteilung durch Skills, oder man führt eine Raumsuche durch mehrere Agenten durch.

(5) Welche Gründungschancen haben einzelne Hochleister angesichts großer Unternehmen mit vollständiger Stapelung der Technologie?

Erstens: Wählen Sie etwas aus, das Sie wirklich begeistert und von dem Sie glauben, dass es für die Welt nützlich ist.

Zweitens: Testen Sie, wie gut aktuelle allgemeine Modelle bei diesem Problem abschneiden. Sie müssen beurteilen, ob das, was Sie tun, langlebig ist oder innerhalb von 6 bis 12 Monaten von großen Modellen übernommen wird.

Auf der Grundlage dieser Prinzipien gibt Jeff Dean zwei konkrete Wege an, um die einzigartigen Vorteile des Gründungsteams aufzubauen:

Erstens: Stellen Sie sicher, dass Ihr Produkt auf Daten zugreifen kann, auf die allgemeine Modelle keinen Zugriff haben.

Zweitens: Trainieren Sie wie bei AlphaFold ein spezialisiertes Modell mit den richtigen Trainingsdaten – es mag nicht viel Rechenleistung benötigen, aber es ist extrem genau.

Dieser Ansatz kann in Bereichen wie Materialwissenschaft und Chipherstellung funktionieren.

Bewertung: Das Kernprinzip für KI-Gründer ist, die Fähigkeiten großer Modelle zu einem Beschleuniger ihrer eigenen Strategie zu machen. Wie man von dem allgemeinen Trend profitiert, ist eine Kunst – der Wert des Grundsatzes "dem Trend folgen" steigt stetig weiter.

(6) Was ist die seltene Fähigkeit im KI-Zeitalter, wenn jeder Hunderte von Agenten steuern kann?

Das wirklich Seltene ist immer der Geschmack (Taste).

Das Wesen des Geschmacks ist die hochrangige Weisheit, an welchen Projekten man arbeiten soll.

Das richtige Problem auszuwählen und zu lösen ist viel besser, als eine recht langweilige Forschung elegant abzuschließen.

Ich glaube, dass Modelle diese hochrangige Weisheit nicht besonders gut beherrschen werden. Deshalb werden Menschen eine große Menge an KI-gestützter Rechenleistung steuern.

Bewertung: Die richtige Frage zu stellen ist immer wichtiger, als eifrig Probleme zu lösen.

(7) Wie kann man diesen Geschmack entwickeln?

Eine wirksame Methode besteht darin, eine Liste von Dingen zu erstellen, die Sie in den nächsten zwölf Monaten für wichtig halten. Sie werden vielleicht nur eines davon umsetzen, aber nach zwölf Monaten bewerten Sie zurück: Was war wirklich wichtig? Was haben andere bereits umgesetzt? Was hat noch niemand umgesetzt?

Dadurch sammeln Sie viele Beispiele für die Entwicklung Ihres eigenen Geschmacks.

Ein weiterer Trick ist die Durchführung verrückter Gedankenexperimente.

Seit sechzig Jahren geht die Chipindustrie davon aus, dass jeder Chip desselben Designs identisch sein soll und keine Bits kippen dürfen.

Auf makroskopischer Ebene gehen wir aber nicht davon aus – zum Beispiel bauen wir zuverlässige große verteilte Systeme aus unzuverlässiger Hardware auf.

Was würde passieren, wenn Sie versuchen, die gesamte moderne IT-Industrie mit Transistoren neu aufzubauen, die 20 Mal pro Tag Fehler machen, statt einmal pro Million Jahre?

Dadurch entstehen völlig neue Wege, über Probleme nachzudenken – zum Beispiel müssen Signale mehrere redundante Pfade durchlaufen.

Gelegentlich Annahmen in Frage zu stellen ist sehr wertvoll. Solche verrückten Gedankenexperimente sind eine hervorragende Methode, um den Geschmack zu entwickeln.

Bewertung: Für die Gewinnung von Erkenntnissen ist die einfache Napkin-Mathematik viel nützlicher als detaillierte Excel-Modellierung. Anders ausgedrückt: "Ungefähre Richtigkeit" ist viel besser als "genaue Falschheit".

(8) Der Umsetzungsweg von KI, die KI erzeugt: Orchestrierungsframework + automatisierter Experimentierkreislauf

Die Grundlage der wissenschaftlichen Forschung lautet: Sie stellen ein Experiment vor, führen es durch, bewerten es und erhalten dann die Ergebnisse.

Heute können bei immer mehr Problemen nicht nur wenige Experimente, sondern sehr viele Experimente gleichzeitig ausgeführt werden – denn man kann diesen Kreislauf automatisieren und seine Latenz auf ein Minimum senken.

Dadurch können wir eine Vielzahl von Problembereichen in Wissenschaft, Ingenieurwesen, maschinellem Lernen und sogar im Modellentwurf selbst meistern, einschließlich Ingenieuraufgaben wie dem Chipherstellung.

Darüber hinaus wird es sehr einflussreich, wenn Sie ein Orchestrierungsframework haben, das sehr hochrangige Ziele entgegennimmt, sie in Teilprobleme aufteilt – wobei jedes Teilproblem ein automatisierter Kreislauf ist, in dem der beste Lösungsweg für dieses Teilproblem erforscht wird – und dann die Teillösungen zu einer Gesamtlösung für das übergeordnete Problem zusammenfügt.

Es wird die Durchbrüche im maschinellen Lernen sowie in allen Wissenschafts- und Ingenieurproblemen erheblich beschleunigen.

Bewertung: Diese Überlegungen von Jeff sind sehr zentral und verkörpern das Konzept von RSI (Recursive Self-Improvement). Ich glaube, man sollte KI nicht nur als Werkzeug betrachten. KI ist eher wie eine neue Spezies oder ein neues Land – Menschen lagern immer mehr Arbeitsaufgaben an sie aus. Mit der Verbesserung der KI-Fähigkeiten wird diese neue Spezies allmählich ihren eigenen technologischen Baum weiterentwickeln. In den nächsten 10 bis 20 Jahren werden wir sehr wahrscheinlich eine Ära der großen technologischen Explosion erleben.