Der Vater von Google Brain gibt erstmals zu, dass ein kleiner Plausch in der Kaffeeküche ein Billionenreichtes Imperium ausgelöst hat und die künstliche Intelligenz hat die Schwelle für Selbstentwicklung erreicht.

Ein sensationelles Interview mit dem Legenden der KI-Branche, Jeff Dean, ist nun veröffentlicht! Als Gründer von Google Brain und der Schlüsselmann hinter TensorFlow und TPU erzählt er persönlich die außergewöhnliche Reise der Neuronale Netzwerk-Revolution.

Ein neues Interview mit Jeff Dean, dem »Vater der modernen Internet-Architektur«, ist aufgetaucht.

Dieser Legende der KI-Branche ist der Gründer von Google Brain und ein Schlüsselperson bei der Skalierung von neuronalen Netzwerken.

Von dem bahnbrechenden Durchbruch, dass neuronale Netzwerke »Katzen verstehen«, bis zur Entstehung von TensorFlow und TPU - seine Geschichte ist fast eine Geschichte der KI-Entwicklung.

Im neuesten tiefgehenden Interview im »The Moonshot podcast« resümiert Jeff Dean seine persönliche Entwicklung, die frühen Geschichten von Google Brain und seine Gedanken über die Zukunft der KI.

Im Podcast enthüllt er einige Details und interessante Geschichten, die er kennt:

· Als Kind druckte Jeff Dean 400 Seiten Quellcode aus, um sich selbst beizubringen.

· In den 90er Jahren, als er das Konzept von »Datenparallelität/Modellparallelität« vorschlug, gab es noch keine solchen Begriffe.

· Die ursprüngliche Inspiration für Google Brain entstand tatsächlich in einem kurzen Gespräch mit Andrew Ng in der kleinen Kaffeeküche von Google.

· Die Entstehung des »Durchschnittskatzen«-Bildes vergleicht Jeff mit »dem Finden des Neurons im Gehirn, das die Erinnerung an die Großmutter auslöst«.

· Er vergleicht KI-Modelle mit »Sokratischen Partnern«, die bei der Argumentation und Debatte begleiten können, anstatt bloße einseitige Werkzeuge zu sein.

· Eine Metapher für die Zukunft: »Eine Million Lehrer, ein Schüler« - Menschen lehren ständig KI-Modelle, und alle können davon profitieren.

Der Superingenieur sah schon früh das Potenzial von neuronalen Netzwerken

Jeff ist der »Superheld unter den Ingenieuren«. Wenige einzelne Ingenieure wie Jeff Dean haben so viel Anerkennung und Bewunderung gewonnen.

Die erste Frage des Moderators war: Wie wurde Jeff Dean ein Ingenieur?

Jeff Dean glaubt, dass er eine ungewöhnliche Kindheit hatte. Wegen häufiger Umzüge wechselte er in 12 Jahren 11 Schulen.

Als Kind mochte er es, mit Lego-Bausteinen Dinge zu bauen und nahm jedes Mal bei einem Umzug seinen Lego-Set mit.

Als er neun Jahre alt war, lebte er in Hawaii.

Jeffs Vater war Arzt, aber er war immer an interessiert, wie Computer zur Verbesserung der öffentlichen Gesundheit eingesetzt werden könnten. Damals musste er, wenn er einen Computer benutzen wollte, in die Computerhalle im Keller der Gesundheitsbehörde gehen, seine Anforderungen an die sogenannten »Mainframe-Gurus« geben und dann warten, bis sie es für ihn umsetzten. Das ging sehr langsam.

In einer Zeitschrift sah Jeffs Vater eine Anzeige und kaufte einen DIY-Computer-Set. Es war ein frühes Modell eines Intel 8080 (wahrscheinlich ein bis zwei Jahre vor dem Apple II).

Anfangs war dieser Computer nur eine Box mit blinkenden Lampen und Schaltern. Später fügten sie eine Tastatur hinzu, so dass man mehrere Bits auf einmal eingeben konnte. Später installierten sie einen BASIC-Interpreter. Jeff Dean kaufte ein Buch mit »101 kleinen BASIC-Spielprogrammen«, konnte die Programme Zeile für Zeile eintippen, spielen und selbst ändern.

Dies war seine erste Berührung mit der Programmierung.

Später zog Jeffs Familie nach Minnesota. Alle Mittelschulen und High Schools im ganzen Staat hatten Zugang zu demselben Computersystem, das Chaträume und interaktive Abenteuerspiele hatte.

Das war wie die »Vorstufe des Internets«, 15 bis 20 Jahre vor der Verbreitung des Internets.

Damals war Jeff etwa 13 oder 14 Jahre alt, und der Quellcode eines Multiplayer-Online-Spiels, das er spielte, wurde Open Source.

Jeff benutzte heimlich einen Laserdrucker, druckte die 400 Seiten Quellcode aus und wollte dieses Multiplayer-Mainframe-Spiel auf das UCSD Pascal-System portieren.

Dieser Prozess brachte ihm viel Wissen über konkurrierende Programmierung.

Dies war Jeff Deans erstes nicht einfaches Software-Projekt.

Etwa 1991 ergriff die Künstliche Intelligenz erstmals Jeff Deans Fantasie.

Genauer gesagt, handelte es sich um genetische Programmierung mit Lisp-Code.

Im letzten Jahr seines Bachelorstudiums an der Universität Minnesota hatte Jeff Dean erstmals echte Berührung mit der Künstlichen Intelligenz.

Damals besuchte er einen Kurs in paralleler und verteilter Programmierung, in dem es auch um neuronale Netzwerke ging, da sie von Natur aus sehr gut für parallele Berechnungen geeignet sind.

Es war 1990, und es gab gerade eine Welle von Begeisterung für neuronale Netzwerke. Sie konnten einige kleine Probleme lösen, die mit herkömmlichen Methoden nicht lösbar waren.

Damals war ein »dreischichtiges neuronales Netz« schon »tief«, während es heute hunderte von Schichten gibt.

Er versuchte, größere neuronale Netzwerke auf parallele Weise zu trainieren, indem er 32 Prozessoren zusammen schloss. Aber dann stellte er fest, dass die benötigte Rechenleistung 1 Million mal höher war, und 32 waren bei weitem nicht genug.

Link zur Studie: https://drive.google.com/file/d/1I1fs4sczbCaACzA9XwxR3DiuXVtqmejL/view

Obwohl das Experiment auf eine begrenzte Skala beschränkt war, war dies seine erste tiefe Berührung mit neuronalen Netzwerken und ließ ihn fühlen, dass dieser Weg richtig war.

Selbst Ende der 90er Jahre waren neuronale Netzwerke in der KI-Branche völlig »veraltet«. Danach gaben viele Menschen die Forschung an »neuronalen Netzwerken« auf.

Aber Jeff Dean gab nicht völlig auf. Da sich der Fokus der gesamten KI-Branche verschob, versuchte er andere Dinge.

Nach seinem Abschluss trat er in das Forschungslabor von Digital Equipment Corporation in Palo Alto ein.

Digital Equipment Corporation, kurz DEC, mit der Marke Digital, war ein amerikanisches Computerunternehmen, das 1957 gegründet wurde. Es erfand die PDP-Serie von Minicomputern und den Alpha-Mikroprozessor und wurde 1998 von Compaq Computer übernommen.

Später trat er bei Google ein und fing immer wieder in verschiedenen Bereichen »von vorne an«:

Such- und Informationsretrievalsysteme, Massenspeichersysteme (Bigtable, Spanner), medizinische Anwendungen der maschinellen Lernens und schließlich wechselte er zu Google Brain.

Geheimnisse von Google Brain: Ein kurzes Gespräch in der Kaffeeküche

In seiner Karriere ist es Jeff Dean besonders charakteristisch, immer wieder »von Null zu beginnen«.

Diese Vorgehensweise motivierte viele Ingenieure und bewies, dass »Einfluss« nicht gleichbedeutend mit »Anzahl der Mitarbeiter« ist, sondern eher die Fähigkeit, Dinge passieren zu lassen.

Es ist wie das Schieben eines Schneeballs den Berg hinauf, ihn so schnell und so groß wie möglich werden zu lassen und dann nach dem nächsten Schneeball zu suchen. Jeff Dean mag diese Art von Vorgehen.

Nachdem das Spanner-Projekt allmählich stabil wurde, begann er, nach der nächsten Herausforderung zu suchen und traf Andrew Ng.

Bei einem Zufallsencounter in der Kaffeeküche von Google sagte Andrew Ng zu Jeff Dean: »An der Stanford-Universität haben Studenten mit neuronalen Netzwerken in der Spracherkennung und Bildverarbeitung vielversprechende Ergebnisse erzielt.«

Jeff wurde sofort interessiert und sagte: »Ich mag neuronale Netzwerke. Lassen wir uns sehr große trainieren.«

Dies war der Beginn von Google Brain. Sie wollten herausfinden, ob man neuronale Netzwerke wirklich skalieren konnte, da die Verwendung von GPUs für das Training von neuronalen Netzwerken bereits gute Ergebnisse gezeigt hatte.

Jeff Dean beschloss, ein verteiltes neuronales Netzwerk-Trainingssystem aufzubauen, um sehr große Netzwerke zu trainieren. Schließlich nutzte Google 2.000 Computer mit 16.000 Kernen und sah, was man damit trainieren konnte.

Allmählich nahmen immer mehr Menschen an diesem Projekt teil.

Google trainierte große unüberwachte Modelle für visuelle Aufgaben, trainierte viele überwachte Modelle für die Spracherkennung und arbeitete mit verschiedenen Abteilungen von Google wie Suche und Werbung zusammen.

Schließlich nutzten Hunderte von Teams neuronale Netzwerke, die auf dem frühen Framework basierten.

Die New York Times berichtete über diesen Erfolg und veröffentlichte das Bild der Katze. Es war wie der »Aha-Moment« von Google Brain.

Da sie ein unüberwachtes Algorithmus nutzten.

Sie nahmen den Durchschnitt der Dinge, die bestimmte Neuronen wirklich anregten, und erstellten das attraktivste Eingangsmuster. So entstand das Bild der Katze, das man »Durchschnittskatze« nannte.

Bei dem Imagenet-Datensatz verbesserte Google das unüberwachte Modell und erreichte eine Reduktion der relativen Fehlerrate um 60 % in den 20.000 Kategorien von Imagenet.

Gleichzeitig reduzierten sie mit einem überwachten Trainingsmodell bei fünf Tagen Training auf 800 Maschinen die Fehlerrate des Spracherkennungssystems um 30 %. Diese Verbesserung entsprach dem gesamten Fortschritt der Spracherkennungsforschung in den letzten 20 Jahren.

Deshalb beschloss Google, neuronale Netzwerke für die frühe akustische Modellierung zu nutzen. Dies war auch der Ursprung des von Google entwickelten mas