Gerade jetzt ist Geoffrey Hinton der zweite Wissenschaftler, dessen Zitationszahl eine Million überschritten hat.

Gerade jetzt ist Geoffrey Hinton offiziell der zweite Informatiker in der Geschichte, dessen Zitationen auf Google Scholar die Marke von einer Million überschritten haben.

Vor ihm war nur sein alter Partner, der andere „Gottvater des Deep Learning“, Yoshua Bengio, in der Lage, dieses Ziel zu erreichen. Derzeit wächst Hintons Zitationszahl immer noch mit erstaunlicher Geschwindigkeit. Jede Zitation ist ein Beweis für seinen unvergesslichen Beitrag zum Bereich der Künstlichen Intelligenz. Von der Verbreitung des Backpropagation-Algorithmus bis zur sensationellen Entstehung von AlexNet, vom Erhalt des Turing Awards bis zur Verleihung des Nobelpreises für Physik 2024 – Hintons Karriere ist fast wie eine Geschichte der modernen KI.

Diese Zahl ist nicht nur eine Quantifizierung seines akademischen Einflusses, sondern auch die höchste Ehre für den 78-jährigen Mann, der sein ganzes Leben lang unermüdlich geforscht hat.

Geoffrey Hinton: Der „Gottvater“ aus einer akademischen Familie

Kindheit

Geoffrey Everest Hinton wurde am 6. Dezember 1947 in London, Großbritannien, in einer akademischen Familie geboren. Sein Mittelname „Everest“ stammt von seinem Großonkel George Everest, der den englischen Namen für den Mount Everest prägte. Seine Familie ist mit berühmten Wissenschaftlern gefüllt. Sein Urgroßvater war George Boole, der Begründer der Booleschen Algebra, und seine Cousine war die Kernphysikerin Joan Hinton (Han Chun), die am Manhattan-Projekt beteiligt war.

In einer solchen Familie zu leben bedeutet, mit Druck und Ehre konfrontiert zu sein. Hintons Mutter hat ihm einst eine milde, aber dennoch strenge „Ultimatum“ ausgesprochen: „Entweder werde ein Akademiker oder sei ein Versager (Be an academic or be a failure).“ Diese hohen Erwartungen können möglicherweise seinen späteren unerbittlichen Streben nach akademischem Erfolg erklären.

Seine Kindheit war so eigenartig und abenteuerlich wie in dem Film „Die Royal Tenenbaums“. Zu Hause hatte man Mangusten, und in einer Grube in der Garage lebten sogar giftige Schlangen. Als er acht Jahre alt war, hat er mit einem Taschentuch eine giftige Schlange in der Grube provoziert. Die Schlange hat auf seine Hand gesprungen und ihm nur um einen Zentimeter den Biss erspart. Er war fast ums Leben gekommen.

Achtjähriger Hinton umarmt eine Python

Die Geschichten seiner Familie reichen sogar bis in die kanadische Politik. Im Jahr 1961 hat sein Vater auf seiner Reise nach China ein Dutzend chinesischer Schildkröten mitgebracht. Auf der Reise hat er in demselben Hotelzimmer wie der zukünftige kanadische Premierminister Pierre Trudeau gewohnt. Es heißt, dass Hintons Vater die Schildkröten im Badewanne gehalten hat, so dass Trudeau nicht baden konnte.

Das Studium

Der akademische Weg dieses Genies war jedoch nicht immer einfach. Seine Neugierde auf die Natur der Welt hat bereits mit vier Jahren begonnen.

Damals hat er in einem Dorfbus ein merkwürdiges Phänomen beobachtet: Wenn der Bus abrupt bremste, rutschte eine Münze auf dem Sitz nicht wie erwartet nach vorne, sondern entgegen der Intuition nach hinten. Dieses Phänomen, das gegen die physikalischen Gesetze verstieß, hat ihn zehn Jahre lang geplagt. Erst später hat er verstanden, dass es sich um das Ergebnis des Winkels der Sitzpolster und der Vibration handelte. Er hat einmal gesagt: „Einige Menschen können es akzeptieren, dass es Dinge gibt, die sie nicht verstehen. Ich kann es nicht. Ich kann es nicht akzeptieren, dass etwas gegen mein Weltverständnis verstößt.“

Diese Verpflichtung, die Welt zu verstehen, hat ihn während seines gesamten Studiums begleitet. An der King's College Cambridge hat er zwischen Physik, Philosophie und Psychologie hin- und hergeschaltet. Nach seinem Abschluss war er so ratlos, dass er sogar kurzzeitig Zimmermann geworden ist. Während seiner Promotion war er aufgrund der schlechten Aussichten für Neuronale Netzwerke in dieser Zeit in eine Depression und Selbstzweifel geraten.

Bei einem Seminar, das wie eine Art Therapie war, haben alle anderen Teilnehmer geschrien: „Ich will geliebt werden!“ um ihre Emotionen abzubauen. Hinton hat lange geschwiegen und dann schließlich seinen tiefsten Wunsch ausgerufen: „Was ich wirklich will, ist ein Doktortitel! (What I really want is a PhD!)“ Mit dieser Hartnäckigkeit hat er an der Universität von Edinburgh einen Doktortitel in Künstlicher Intelligenz erworben und so seine Reise in die Wüste der Neuronale Netzwerke begonnen.

31-jähriger Hinton mit seinem Postdoc-Kollegen Chris Riesbeck

Reise nach Kanada

In den 70er und 80er Jahren, als der Bereich der KI von der Symbolik dominiert wurde, war Hinton wie ein einsamer Außenseiter. Enttäuscht von der militärischen Finanzierung der US-Verteidigungsministerium während der Zeit von Ronald Reagan hat er sich entschieden, die Vereinigten Staaten zu verlassen und nach Kanada zu ziehen.

Apart von politischen Gründen gab es auch einen weniger bekannten, emotionalen Grund: Damals hat er und seine Frau geplant, zwei Kinder aus Südamerika zu adoptieren. Er wollte nicht in einem Land leben, das in dieser Zeit gewaltsam in die Angelegenheiten Lateinamerikas eingriff. Deshalb hat er sich an der Universität von Toronto niederlassen und dort Jahrzehnte lang in der „Wüste“ der Neuronale Netzwerke geforscht. Dies hat später dazu beigetragen, dass Kanada zu einem globalen Zentrum für KI wurde.

Akademische Errungenschaften

Einer von Hintons bekanntesten Leistungen ist die gemeinsame Veröffentlichung einer Studie über Backpropagation mit David Rumelhart und Ronald Williams. Diese Studie hat das Problem des Trainings von mehrschichtigen Neuronale Netzwerken gelöst und so den Grundstein für die Explosion des Deep Learning gelegt.

Seine Beiträge gehen jedoch weit darüber hinaus:

Boltzmann Machine und Restricted Boltzmann Machine (RBM): Diese haben die Grundlage für das unüberwachte Lernen und die Merkmalsdarstellung gelegt und können für generative Modelle und das Pretraining von Neuronale Netzwerken verwendet werden.

Deep Belief Network (DBN): Im Jahr 2006 vorgeschlagen, hat es die effektive Training von tiefen Neuronale Netzwerken ermöglicht und so die Wiederbelebung des Deep Learning angestoßen.

Dropout: Eine einfache und effiziente Regularisierungstechnik, die das Overfitting verhindert, indem es zufällig Neuronen ausschaltet. Sie ist heute ein Standardverfahren beim Training großer Neuronale Netzwerke.

t-SNE: Eine Technologie zur Visualisierung von hochdimensionalen Daten, die verwendet wird, um komplexe Daten in einen niedrigdimensionalen Raum zu projizieren. Sie wird häufig verwendet, um die Merkmalsdarstellung von Deep Learning zu verstehen.

Distributed Representations: Dies betont die Wichtigkeit der verteilten Merkmalscodierung in Lernsystemen.

Capsule Networks: Dies ist eine Verbesserung der Convolutional Neural Networks (CNNs), die die Schwächen bei der Verarbeitung von räumlichen Beziehungen adressiert. Durch die Verwendung von „Kapseln“ und einem dynamischen Routing-Mechanismus wird die Merkmalsebenenwahrnehmung verbessert.

Mixture of Experts (MoE): Ein Ansatz, bei dem mehrere Subnetzwerke (Experten) zusammenarbeiten und von einem Router selektiv aktiviert werden. Dies verbessert die Kapazität und die Rechenleistung des Modells und ist ein wichtiges Designkonzept für große Modelle.

Knowledge Distillation: Dies ist ein Verfahren, bei dem das Wissen eines großen, komplexen Modells (Lehrermodell) auf ein kleineres Modell (Schülermodell) übertragen wird. Dadurch kann die Rechenleistung reduziert werden, ohne dass die Leistung darunter leidet.

Layer Normalization: Eine Technologie, die die Stabilität und die Konvergenzgeschwindigkeit des Trainings von tiefen Netzwerken verbessert. Sie ist besonders wichtig für Modelle in der natürlichen Sprachverarbeitung.

Tiefgenerative Modelle und probabilistische Graphical Modelle: In diesem Bereich hat Hinton mehrere innovative Ansätze vorgeschlagen, die die theoretische Grundlage für spätere Modelle wie die Variational Autoencoder (VAE) und die Generative Adversarial Networks (GAN) gelegt haben.

AlexNet und die Revolution bei ImageNet: Zusammen mit seinen Schülern Alex Krizhevsky und Ilya Sutskever hat er AlexNet entwickelt, das bei der ImageNet-Konkurrenz mit großer Überlegenheit gewonnen hat. Dies gilt als der Beginn der Deep Learning-Ära und hat die Macht der tiefen Convolutional Neural Networks bei der Verarbeitung von großen Datenmengen und mit GPU-Rechenleistung bewiesen.

Forward-Forward Algorithmus (2022): Dies ist eine Reflexion und Herausforderung an die biologische Plausibilität des Backpropagation-Algorithmus, den Hinton in den letzten Jahren seiner Karriere vorgenommen hat. Er hat eine alternative Lernmethode vorgeschlagen, die näher an dem Funktionsprinzip des menschlichen Gehirns ist.

Im Jahr 2018 hat er zusammen mit Yoshua Bengio und Yann LeCun den Turing Award, den höchsten Preis in der Informatik, erhalten. Die drei werden oft als die „Drei Großen des Deep Learning“ bezeichnet.

Es ist bemerkenswert, dass diese drei Turing Award-Gewinner auch die Mitautorinnen des zweithäufigsten zitierten Artikels von Hinton, „Deep learning“, sind. Der Artikel wurde im Mai 2015 in der Zeitschrift Nature veröffentlicht und hat in den letzten zehn Jahren bereits über 100.000 Zitationen erhalten. In diesem Artikel werden die Entwicklung, die Grundprinzipien, die Schlüsselalgorithmen (wie mehrschichtiges Lernen, Backpropagation, Convolutional Neural Networks und Recurrent Neural Networks) des Deep Learning sowie seine breite Anwendung in Bereichen wie Spracherkennung, Bilderkennung, Objekterkennung und Genomik zusammengefasst. Dies ist ein Meilenstein, der das Deep Learning von einer akademischen Forschung zu einer anwendungsorientierten Technologie gebracht hat.

Im Jahr 2024 hat Hinton zusammen mit John Hopfield den Nobelpreis für Physik erhalten, um ihre „grundlegenden Entdeckungen und Erfindungen bei der Nutzung von künstlichen neuronalen Netzen für das maschinelle Lernen“ zu würdigen. Lesen Sie auch den Artikel „Gerade jetzt: Der Nobelpreis für Physik 2024 geht an Geoffrey Hinton und John Hopfield“.

Der besonnene Warnender

Im Alter hat der „Gottvater der KI“ nicht nur ein technischer Prediger, sondern auch ein besonnener Warnender geworden.

Im Mai 2023 hat er seinen Job bei Google, wo er zehn Jahre gearbeitet hat, aufgegeben, um frei über die Risiken der KI sprechen zu können. Er hat einmal gesagt: „Ich denke, ich bereue jetzt einen Teil meiner Lebensarbeit.“ Er befürchtet, dass die digitale Intelligenz möglicherweise eine Form der Intelligenz werden könnte, die der menschlichen überlegen ist und dass sie, wenn sie nicht kontrolliert wird, eine Bedrohung für die Menschheit darstellen könnte. Er hat gewarnt: „Wenn Sie wissen möchten, wie es ist, nicht mehr die intelligenste Spezies auf der Welt zu sein, fragen Sie einfach ein Huhn.“

Alex Krizhevsky und Ilya Sutskever

Von Hintons zahlreichen Veröffentlichungen ist der am häufigsten zitierte Artikel sicherlich der bahnbrechende Artikel „ImageNet classification with deep convolutional neural networks“, der 2012 in NeurIPS veröffentlicht wurde. Dieser Artikel hat bisher über 180.000 Zitationen erhalten (vielleicht nur hinter dem ResNet-Artikel mit fast 300.000 Zitationen und dem Transformer-Artikel mit über 200.000 Zitationen). Er markiert nicht nur den Beginn der Deep Learning-Ära, sondern hat auch die Namen seiner beiden Mitautoren Alex Krizhevsky und Ilya Sutskever weltbekannt gemacht.

Als zwei seiner besten Schüler haben sie zusammen in einem Labor an der Universität von Toronto die Tür zu einer neuen Welt der KI geöffnet.