Der Google-Experte Dreamer hat seinen Job verlassen und selbst zugegeben, dass er an Transformer vorbeigekommen ist.
Gerade hat der "Gott" Danijar Hafner von "Dreamer" angekündigt, dass er Google, wo er fast zehn Jahre gearbeitet hat, verlässt.
Vor seinem Ausscheiden war Danijar Senior Research Scientist in der San Francisco-Filiale von Google DeepMind.
Sein Forschungsziel ist es, "allgemeine Agenten zu entwickeln, die die Welt verstehen und mit ihr interagieren können".
Als Experte für Weltmodelle bei Google war Danijar führend oder mitführend bei der Entwicklung der Dreamer-Serie (Dreamer, DreamerV3, Dreamer4 usw.).
Danijar Hafner
Er schrieb in einem Tweet: "Heute ist mein letzter Tag bei DeepMind."
Nach Betrachtung seiner fast 10-jährigen Arbeitserfahrung bei Google und DeepMind meint Danijar, dass "ein wichtiges Kapitel zu Ende ist".
In den frühen Jahren bei Google war Danijar hauptsächlich als Forscher in Teams wie dem Google Research, DeepMind und dem Brain Team tätig.
Aus seiner Bildungsgeschichte lässt sich auch deutlich seine berufliche Entwicklung nachverfolgen.
Ab 2016 hat er an Praktika im Brain Team teilgenommen.
Danijar erinnert sich, dass er 2016 erstmals in Mountain View ein Praktikum im Google Brain Team absolvierte und mit James Davidson und Vincent Vanhoucke zusammenarbeitete.
Da es damals noch keine lauffähige PPO-Implementierung gab, haben das Team Debugging und Experimente im statischen Graphenrahmen von TensorFlow durchgeführt.
Von 2017 bis 2018 absolvierte Danijar ein Masterstudium an der Universität London und arbeitete in dieser Zeit bei DeepMind in London.
Von 2018 bis 2023 absolvierte er einen Doktorgang an der Universität Toronto und arbeitete daher über einen längeren Zeitraum im Brain Team in Toronto.
Er hat zusammen mit einem anderen Senior Research Scientist des Teams, Mohammad Norouzi, mehrere Versionen von Dreamer entwickelt.
Erstes Kennenlernen des Transformers
Aber "nicht beachtet"
Danijar erinnert sich noch an die Situation, als Łukasz Kaiser ihnen zum ersten Mal eine von einem "großen" LSTM generierte Wikipedia-Seite zeigte.
Łukasz Kaiser
Łukasz ist ein Machine-Learning-Forscher, der zunächst im Google Brain Team arbeitete und später OpenAI wechselte.
Das Google Brain Team veröffentlichte 2018 die Studie "Generating Wikipedia by Summarizing Long Sequences", an der Łukasz Kaiser als Autor beteiligt war. Das Thema war die end-to-end-Generierung von Wikipedia-Einträgen.
https://arxiv.org/abs/1801.10198?utm_source=chatgpt.com
Danijar erwähnt auch eine Episode, in der er den Transformer "verpasst" hat.
Damals hat Ashish Vaswani ihn aufgeregt über die Vorteile einer neuen Architektur in Bezug auf die Rechenleistung informiert und ihm empfohlen, sie in der Reinforcement Learning anzuwenden. Damals hat Danijar es jedoch nicht beachtet (ich habe es damals nicht ausprobiert).
Später wurde diese Architektur als Transformer benannt.
Ashish Vaswani
https://arxiv.org/abs/1706.03762?utm_source=chatgpt.com
Ashish Vaswani ist ein einflussreicher Wissenschaftler und Unternehmer im Bereich KI.
Er ist Mitbegründer von Essential AI, wird aber vor allem für die Mitveröffentlichung der bahnbrechenden Studie "Attention Is All You Need" bekannt.
In dieser Studie wurde eine neue, einfache Netzwerkarchitektur namens Transformer vorgeschlagen, die "Kreisläufe und Faltungstrukturen komplett verwerft und nur auf Attention-Mechanismen basiert", was eine stärkere Parallelität und schnellere Trainingsgeschwindigkeit ermöglicht.
Der oben erwähnte Łukasz Kaiser ist ebenfalls einer der Hauptautoren dieser bahnbrechenden Studie.
Forschung in Deep Learning
Von 2017 bis 2018 absolvierte Danijar ein Masterstudium an der Universität London.
In dieser Zeit arbeitete er bei DeepMind in London und hatte die Möglichkeit, an Forschungen in Deep Reinforcement Learning und generativen Modellen teilzunehmen und mit Timothy Lillicrap (DeepMind) und Ian Fischer (Google Research) zusammenzuarbeiten.
Diese Erfahrung führte dazu, dass sie gemeinsam PlaNet entwickelten (ein modellbasierter Reinforcement-Learning-Algorithmus, der aus Pixelbeobachtungen ein latentes Weltmodell lernt und Planung und Aktionsauswahl im latenten Raum durchführt).
Timothy Lillicrap
Anschließend hat Danijar langfristig mit Nicolas Heess und dem Adaptive Agents Team von DeepMind kommuniziert und das Free Energy Principle (FEP) von Karl Friston systematisch zusammengefasst und praktiziert.
Entwicklung von Dreamer
Unterricht von Hinton erhalten
Von 2018 bis 2023 absolvierte Danijar einen Doktorgang an der Universität Toronto und führte in dieser Zeit auch Forschungsarbeiten als ko-kultivierter Doktorand an der Universität Kalifornien, Berkeley durch.
Während seines Doktoratsstudiums an der Universität Toronto war sein Hauptbetreuer Jimmy Ba, und er erhielt auch Unterricht von Jeffrey Hinton.
In dieser Zeit arbeitete Danijar auch über einen längeren Zeitraum im Brain Team in Toronto.
Mohammad Norouzi
Er hat zusammen mit dem Senior Research Scientist des Google Brain in Toronto, Mohammad Norouzi, mehrere Versionen von Dreamer entwickelt.
Sie haben an verschiedenen Kooperationsprojekten teilgenommen und auch den Moment gefeiert, als Hinton den Turing Award gewann.
Der Turing Award 2018 wurde an Yoshua Bengio, Geoffrey Hinton und Yann LeCun verliehen.
In den letzten Jahren hat Danijar zwischen Berkeley und San Francisco gearbeitet und mit Wilson Yan intensiv an Weltmodellen geforscht.
Mit der starken Unterstützung von Count Zero und Koray Kavukcuoglu konnte er erstklassige Rechenleistung und Ressourcen nutzen und eine Reihe von führenden Forschungen vorantreiben.
Von Dreamer über DreamerV3 bis hin zu Dreamer4, der in der Vorstellung autonom lernen und sogar in einer reinen Offline-Umgebung komplexe Aufgaben erledigen kann, hat diese Reihe von Ergebnissen Danijar begeistert.
Auf der Homepage von Danijars persönlicher Website ist seine persönliche Vision sehr auffällig: "Intelligente Maschinen entwickeln, die die Welt autonom verstehen und mit ihr interagieren können."
Für ihn ist das Weltmodell nicht nur ein technologischer Durchbruch, sondern auch ein Fenster zur Erkenntnis der Natur von Intelligenz.
Jetzt wird Danijar seine zehnjährige Reise bei Google/DeepMind beenden und mit gemischten Gefühlen und voller Erwartungen ein neues Kapitel beginnen.
Quellen:
https://x.com/danijarh/status/1985436821405516031%20
https://danijar.com/?utm_source=chatgpt.com
Dieser Artikel stammt aus dem WeChat-Account "New Intelligence Yuan", Autor: New Intelligence Yuan, Redakteur: Yuan Yu. 36Kr hat die Veröffentlichung mit Genehmigung durchgeführt.