Die sechs AI-Riesen treten selten gemeinsam auf der Bühne auf. Fei-Fei Li streitet sich heftig mit Yann LeCun. Jensen Huang sagt: Ihr habt alle unrecht.

Die KI-Revolution ist keine Phantasie, aber selbst diejenigen, die den Weg zum Endziel zeichnen möchten, wissen nicht viel darüber. Kürzlich haben sich sechs Spitzenexperten auf dem Gebiet der Künstlichen Intelligenz – Yann LeCun, Fei-Fei Li, Jensen Huang, Geoffrey Hinton, Bill Dally und Yoshua Bengio –, die gemeinsam den Queen Elizabeth Prize for Engineering erhalten haben, getroffen und ein hochrangiges Gespräch über Künstliche Intelligenz geführt.

Die Stunde der glänzenden Sterne der Menschheit!

Wenn diese sechs Personen zusammenkommen und sich austauschen, weiß man, dass es nicht einfach ist!

Dieses Interview ist sehr wertvoll, denn es hat es geschafft, diese sechs KI-Giganten zusammenzubringen.

In dieser Woche haben der CEO von NVIDIA, Jensen Huang, der Chef-KI-Wissenschaftler von Meta, Yann LeCun, sowie die Spitzeninformatiker Yoshua Bengio, Geoffrey Hinton, Fei-Fei Li und Bill Dally gemeinsam den diesjährigen Queen Elizabeth Prize for Engineering erhalten.

Bei diesem Interview haben die Giganten ihre Eureka-Momente in ihrer Karriere geteilt.

Diese "Aha"-Momente haben nicht nur ihre Forschungsrichtung bestimmt, sondern auch die Richtung des Fortschritts der menschlichen Gesellschaft und Technologie grundlegend verändert.

Und alle sechs haben sich um ein zentrales Problem herum intensiv diskutiert:

Stehen wir Menschen wirklich mitten in einer wahren KI-Industrierevolution? Oder ist die KI eine sofort aufplatzen werdende, größte Blase in der Geschichte?

Vierzig Jahre Wartezeit auf ein "Eureka"-Moment

Der Moderator hat gesagt, dass sie die sechs herausragendsten und einflussreichsten Personen auf diesem Planeten sind.

Das ist keine Übertreibung.

Woher kommt diese KI-Revolution?

Die Antwort ist nicht ein plötzlicher Einfall eines Genies, sondern die langjährige Hingabe einer Gruppe von Menschen.

Der Funke des Gedankens war bereits vor 40 Jahren entfacht.

Der "Vater der KI", Geoffrey Hinton, erinnert sich an das Jahr 1984, als er mit einem damals äußerst bescheidenen Computer ein kleines Modell trainierte, um das nächste Wort in einer Sequenz vorherzusagen.

"Ich habe festgestellt, dass es die Bedeutung der Wörter lernen konnte!", sagte er.

Dies ist der ursprüngliche Prototyp aller heutigen großen Sprachmodelle.

Ein Gedanke, der im Dunkeln entfacht wurde und 40 Jahre hindurchgedauert hat.

Yann LeCun hat offen zugegeben, dass er in seiner Jugend ein "fauler" Ingenieur war und nicht Zeile für Zeile programmieren wollte, um Intelligenz zu schaffen, sondern von der Idee fasziniert war, "dem Computer beizubringen, wie er selbst intelligent wird".

Dieser scheinbar fauler Gedanke ist der Kernphilosophie des maschinellen Lernens.

Aber nur der Gedanke reicht nicht aus. Eine Revolution braucht Treibstoff und einen Motor.

Im Jahr 2006, als Fei-Fei Li noch eine junge Professorin war, hat sie festgestellt, dass alle Algorithmen an einem Problem scheiterten: Es gab zu wenig Daten.

Ein Kind sieht während seiner Entwicklung eine riesige Menge an Informationen, während unsere Maschinen in einer Datennotlage hungern.

Also hat sie und ihr Team etwas getan, das damals als völlig verrückt galt – sie haben in drei Jahren 15 Millionen Bilder manuell annotiert und den Datensatz ImageNet erstellt.

Nachdem dieser "Treibstoff" in den Bereich der KI gegossen wurde, hat er den gesamten Sektor in Brand gesteckt.

Zur gleichen Zeit hat Jensen Huang und sein Team bei NVIDIA auch einen immer stärkeren "Motor" gebaut.

Die ursprünglich für Spiele entwickelte GPU von NVIDIA hat sich als perfektes Werkzeug für Deep Learning erwiesen.

Im Jahr 2010 hat Professor Andrew Ng von Stanford bei einem historischen Frühstück dem NVIDIA-Wissenschaftler Bill Dally gesagt, dass er mit 16.000 CPUs Katzen im Internet erkannt hat.

Bill Dally und seine Kollegen haben nach der Rückkehr das Experiment mit nur 48 GPUs wiederholt.

In diesem Moment hatte er sein Eureka-Moment: "Wir sollten spezielle GPUs für Deep Learning herstellen."

Diese Geschichten zusammen bilden die "Vorgeschichte" der Entstehung der KI:

Der Funke des Gedankens war bereits in der KI-Eiszeit entfacht, und sobald der Treibstoff der Daten und der Motor der Rechenleistung zur Verfügung standen, war eine Revolution unaufhaltsam.

Die Eureka-Momente der Sechs (Kurzfassung)

Yoshua Bengio

• Nach dem Lesen von Hintons frühen Arbeiten hatte er die Intuition, dass es vielleicht einfache Prinzipien wie in der Physik gibt, die die Intelligenz erklären und intelligente Maschinen bauen können.
• Zwei und eine Hälfte Jahre nach der Entstehung von ChatGPT hat er bemerkt, dass Maschinen Sprache verstehen, Ziele haben, aber schwer zu kontrollieren sind. Was wäre, wenn sie noch klüger würden oder missbraucht werden würden? Also hat er sich der Sicherheit und Gegenmaßnahmen gewidmet.

Bill Dally

• Am Ende der 90er Jahre hatte er sein "Eureka"-Moment beim "Speicherwall": Er hat die Kerne mit "Streams" verbunden, um mehr Arithmetik zu machen und weniger Speicherzugriffe zu benötigen. Dies hat die Grundlage für die GPU-Berechnung gelegt.
• Im Jahr 2010 hatte er ein Frühstück mit Andrew Ng: Google hat mit 16.000 CPUs nach "Katzen" gesucht. Inspiriert davon hat er und seine Kollegen 2011 das Experiment mit 48 GPUs wiederholt.
• Das Ergebnis war erstaunlich: Er hat beschlossen, die GPU ausschließlich für Deep Learning zu nutzen und sie kontinuierlich zu optimieren.

Geoffrey Hinton

• Im Jahr 1984 hat er ein kleines Sprachmodell entwickelt: Er hat mit Backpropagation das nächste Wort vorhergesagt. Das Modell hat automatisch die Merkmale und Interaktionen der Wortbedeutungen gelernt. Der Gedanke ist derselbe wie bei den heutigen LLM, nur war es sehr klein und hatte nur 100 Beispiele.
• Der Engpass lag in der fehlenden Rechenleistung und Datenmenge. Aber er war sich dessen damals nicht bewusst.

Jensen Huang

• Um 2010 hat er gleichzeitig frühe Signale des Deep Learning von der Universität von Toronto, der New York University und Stanford erhalten. Er hat festgestellt, dass die Entwicklung von Software mit "Frameworks und strukturierten Darstellungen" stark mit der Chip-Entwicklung vergleichbar ist und skalierbar ist.
• Eureka-Moment: Sobald der Algorithmus auf einer einzelnen Grafikkarte parallel funktioniert, kann er auf mehrere Karten, mehrere Computer und Rechenzentren erweitert werden. Der Rest ist nur noch eine technische Frage: Wie groß sind die Daten, wie groß ist das Netzwerk und welche Probleme können gelöst werden.

Fei-Fei Li

• Von 2006 bis 2009 hatte sie ihr Eureka-Moment: Der Schwerpunkt lag nicht nur in den Algorithmen, sondern auch in den Daten. Daher hat sie ImageNet erstellt: 15 Millionen Bilder, 22.000 Kategorien, crowdsourcing-annotiert. Big Data treibt das maschinelle Lernen an.
• Im Jahr 2018, als sie die Chef-KI-Wissenschaftlerin von Google Cloud war, hat sie festgestellt, dass KI eine "Zivilisations-Technologie" ist, die alle Branchen und Individuen beeinflusst. Sie ist zurück an Stanford gegangen und die HAI gegründet und das Konzept von "Menschenzentrierter KI" vorgeschlagen.

Yann LeCun

• Schon während seines Studiums war er von der Idee der "Trainierbaren, statt programmierbaren" Intelligenz fasziniert. 1985 hat er Hinton kennengelernt und hat sich mit der Trainierbarkeit von mehrschichtigen Netzwerken beschäftigt.
• Er hat sich mit Hinton darüber gestritten: Überwachtes vs. unüberwachtes/selbstüberwachtes Lernen.
• Der Erfolg von ImageNet hat die gesamte Branche vorübergehend zum überwachten Lernen gebracht.
• Von 2016 bis 2017 hat er erneut auf das selbstüberwachte Lernen hingewiesen; LLM ist ein gutes Beispiel. Der nächste Schritt sind nicht-sprachliche Daten wie Videos, und das selbstüberwachte Lernen bleibt eine Schlüsselherausforderung.

Im Zeitalter der Hype: Befinden wir uns in einer Blase?

Nun, nachdem die Geschichte erzählt wurde, kommen wir zum brennendsten Problem: Der Marktwert von NVIDIA ist in die Höhe geschossen, und die ganze Welt spricht über KI. Ist das alles echter Wert oder eine weitere Internetblase?

Jensen Huang hat eine ausgezeichnete Antwort gegeben.

Während der Internetblase Anfang des 21. Jahrhunderts hat die gesamte Branche eine riesige Menge an Glasfaserkabeln verlegt, aber die meisten davon waren "dunkle Fasern", die nie aktiviert wurden. Die Nachfrage hat weit hinter dem Bau zurückgeblieben.

Heute wird fast jede GPU, die man finden kann, aktiviert und eingesetzt.

Warum? Weil die KI die Art und Weise, wie "Wert" produziert wird, grundlegend verändert hat.

Jensen Huang hat gesagt, dass wir eine ganz neue Branche aufbauen, eine intelligente Fabrik.

Früher war Software ein "Werkzeug", das man einfach kaufte und benutzte.

Und die KI ist zum ersten Mal selbst die "Produktivkraft". Sie ist keine Inhalte, sondern intelligente Leistung in Echtzeit.

Man kann keine Intelligenz im Voraus produzieren und dann lagern.

Jedes Mal, wenn Sie ChatGPT eine Frage stellen, "produziert" es Ihnen eine Antwort.

Dieser Produktionsprozess erfordert eine enorme Rechenleistung, genauso wie eine Fabrik Maschinen und Strom benötigt.

Deshalb brauchen wir "KI-Fabriken" (Rechenzentren) im Wert von hunderten von Milliarden von Dollar, um einer völlig neuen Branche im Wert von Billionen von Dollar zu dienen, die auf Intelligenz basiert.

Wir befinden uns noch am Anfang des Aufbaus dieser Branche. Wie könnte das eine Blase sein?

Mit anderen Worten, dies ist die Infrastrukturphase einer neuen "Intelligenzrevolution" nach der Agrarrevolution und der Industrierevolution.