Der Turing-Award-Gewinner LeCun warnte Meta schließlich: Ich beschäftige mich seit 40 Jahren mit KI, und große Modelle sind eine Sackgasse.

Die Windrichtung bei Meta hat sich gewendet, und Yann LeCun gibt zu, dass er bald kündigen wird!

Laut Berichten mehrerer autoritativer Medien wird Yann LeCun, der Chef-AI-Wissenschaftler von Meta und Leiter der "Grundlagen-AI-Forschung" (FAIR), voraussichtlich bald kündigen.

Dieser 65-jährige Veteran der KI-Branche hat als Kerngehirn bei Meta, einem der weltweit größten Technologieunternehmen, unbegrenzte Ressourcen zur Verfügung.

Meta gibt Geld wie aus dem Sparschwein. Es rekrutiert mit hohen Gehältern Top-AI-Experten von Wettbewerbern.

Im Juli behauptete sogar Mark Zuckerberg, dass "Superintelligenz schon bald in Reichweite sei".

Warum will LeCun also Meta verlassen? Liegt es nur an den Personalkrisen bei Meta? Welche Hintergründe gibt es?

Zuckerberg wendet, LeCun verliert Macht?

Dieser Sommer wurde der erst 28-jährige Alexandr Wang zum Chef-AI-Beamten von Meta ernannt, was diesen aufstrebenden Enthusiasten für Large Language Models (LLMs) zum Vorgesetzten von LeCun machte.

Außerdem ernannte Meta dieses Jahr einen anderen relativ jungen Chefwissenschaftler, Shengjia Zhao, dessen Position auch über der von LeCun liegt.

In der offiziellen Ankündigung lobte Meta die "Durchbrüche", die Shengjia Zhao im Bereich "Scaling" gebracht hat. LeCun hingegen hat an der "Scaling"-Ansatz verloren an Vertrauen.

Er warnte auch Doktoranden: "Macht keine LLMs."

Wenn Sie sich fragen, warum sowohl LeCun als auch Zhao Chefwissenschaftler sind, liegt das daran, dass die Organisationsstruktur der AI-Abteilung von Meta ziemlich ungewöhnlich ist und in mehrere unabhängige Teams aufgeteilt ist.

Die Medien berichten ständig, dass Meta an der Organisationsstruktur seiner AI-Abteilung rumwerkeln will.

Letzten Monat entließ das Super-AI-Labor von Meta Hunderte von Mitarbeitern, darunter Tian Yuandong, einen 10-jährigen Mitarbeiter. Angeblich soll dies die chaotische Situation ordnen helfen.

Dies ist bereits das vierte Mal innerhalb von sechs Monaten, dass Meta seine AI-Geschäftstätigkeit anpasst.

Das einst so erfolgreiche FAIR, das einst von LeCun geleitet wurde, hat seinen Glanz längst verloren. Laut aktuellen und ehemaligen Mitarbeitern hat diese Abteilung von Entlassungen, Budgetkürzungen und einem deutlichen Rückgang ihres Einflusses innerhalb der Firma erfahren.

Es war einmal die "Elfenbeinturm" innerhalb von Meta, in der Forscher alle möglichen zukünftigen Wege der KI diskutieren konnten und sogar "riskante" Experimente durchführen konnten, ohne sich um die Produktivierung sorgen zu müssen.

Jetzt hat Meta eine neue AI-Forschungsabteilung gegründet, die eine Reihe von hochbezahlten Neulingen anheuert, die von Wang geleitet werden und ein klares Ziel haben: schnell, umsetzbar und produktivierbar.

Er war 40 Jahre voraus in der KI

LeCun war immer an der Spitze der Zeit -

Bereits als "Maschinelles Lernen" noch nicht von der Mainstream-Gemeinschaft anerkannt war, begann er in diese Richtung zu forschen.

Er arbeitete in Toronto im Labor von Geoffrey Hinton, als Hinton noch kein AI-Legende war.

Danach verbrachte er den größten Teil seiner Laufbahn im Bell Laboratories in New Jersey, einer Institution, die für ihre vielen Innovationen bekannt ist.

1947 erfand das Bell Laboratories den Transistor.

"Das Aufregendste für mich ist, mit Leuten zusammenzuarbeiten, die schlauer sind als ich, denn das verstärkt deine Fähigkeiten." sagte LeCun in einem Magazininterview im Jahr 2023.

Im Bell Laboratories beteiligte sich LeCun an der Entwicklung von Handschrifterkennungstechnologien, die später in der automatischen Überprüfung von Schecks in Banken weit verbreitet wurden. Er beteiligte sich auch an einem Projekt, das sich mit der Digitalisierung von Papierdokumenten und ihrer Verteilung über das Internet befasste.

LeCun sagte, dass er schon als Kind an Physik interessiert war und während seiner Zeit im Bell Laboratories hauptsächlich mit Physikern zusammenarbeitete und viele Physikbücher las.

Ich habe viel gelernt, was oberflächlich gesehen nichts mit KI oder Informatik zu tun hat (ich habe Informatik studiert, aber eigentlich wenig formale Ausbildung in diesem Bereich).

2003 begann LeCun, Informatik an der New Yorker Universität zu unterrichten und wurde später der Gründungsdirektor des Data Science Centers an der Universität.

2013 lud ihn Mark Zuckerberg persönlich ein, Facebook (damals noch nicht umbenannt in Meta) zu joinen und ein neues AI-Labor zu gründen.

Er leitete dieses Team vier Jahre lang und trat 2018 zurück, um als Chef-AI-Wissenschaftler der Firma weiterzumachen und als "persönlicher Forscher" an der technologischen Spitze zu forschen.

2018 erhielt er gemeinsam mit Geoffrey Hinton und Yoshua Bengio den Turing Award - den höchsten Preis in der Informatikbranche - für ihre bahnbrechenden Arbeiten in der Neuralen Netzwerke.

Seitdem hat LeCun allmählich die Rolle eines "symbolischen Figures" angenommen. Er war nicht an der Entwicklung von Metas erstem Open-Source-LLM, Llama, beteiligt und nimmt auch nicht mehr an der täglichen Arbeit an solchen Projekten teil.

Laut Mitarbeitern, die mit ihm zusammengearbeitet haben, arbeitet LeCun jetzt hauptsächlich an seinen eigenen Forschungsprojekten und nimmt auch oft an technologischen Konferenzen teil, um seine Ansichten über KI-Technologien zu teilen.

Angesichts der Medienberichte wies LeCun nur auf "kleine Fehler" in den Berichten hin und bestritt nicht die Meldung, dass er bald kündigen wird.

Er weiß, dass er in der gesamten Silicon Valley-Technologiegemeinschaft, einschließlich Meta, eher ignoriert wird. Letzten Monat sagte der 65-jährige LeCun offen an einem Symposium an der MIT:

In den letzten Jahren war ich in vielen Teilen der Silicon Valley, einschließlich Meta, nicht sehr beliebt, weil ich immer gesagt habe, dass innerhalb von 3 bis 5 Jahren Weltmodelle die vorherrschende KI-Architektur werden und niemand mehr diese LLMs verwenden wird.

Aber er ist fest davon überzeugt, dass seine Einschätzung für die Zukunft der KI richtig ist. Sein alter Freund Léon Bottou sagte den Medien, dass LeCun "liebenswürdig stur" sei - er würde auf andere hören, aber auch an seinen eigenen Überzeugungen festhalten.

Jetzt scheint LeCun in Meta "die Geduld verloren zu haben" und kündigt endlich.

Tatsächlich hat er bereits mehrmals Hinweise auf seine Entscheidung gegeben.

Im Weg zur allgemeinen Künstlichen Intelligenz ist LeCun in letzter Zeit für seine scharfen Kritik an Large Language Models bekannt geworden.

Er meint, dass die derzeitigen Large Language Models, wie wir sie verstehen, "am Ende ihrer Lebensspanne" seien, unabhängig davon, wie die Technologiegiganten ihre Größe erweitern. Sie seien ein "Sackgasse, eine Störung und ein Tote Ende".

Er hat 40 Jahre lang an KI-Forschung gearbeitet, und seine Einschätzungen über KI haben sich wiederholt bewährt. Jetzt meint er, dass die meisten Leute falsch liegen.

Er hat viele Grundlagen für die moderne KI gelegt. Und jetzt ist er fest davon überzeugt, dass die meisten Leute in der Branche von der "Sirenenstimme" der Large Language Models in die Irre geführt wurden.

Dies bietet mehr mögliche Erklärungen für seinen Austritt.

LeCun verlässt Meta, vielleicht für Weltmodelle

Frühere Berichte zufolge berät er sich derzeit mit Branchenkollegen über die Gründung einer Firma, die Suche nach Investitionen und die Gründung eines Teams, das sich auf Weltmodelle konzentriert.

Das sogenannte Weltmodell lernt ähnlich wie kleine Tiere oder Babys aktivem Lernen der Weltgesetze durch visuelle und andere sensorische Daten; während LLMs nur Modelle sind, die auf der Grundlage von riesigen Textmengen Vorhersagen treffen.

LeCun selbst scheut es nicht, zu erklären, warum er glaubt, dass "Weltmodelle" die Lösung für die KI sind.

Modelle wie Metas Llama, OpenAIs GPT und Googles Bard werden alle mit riesigen Datenmengen trainiert. LeCun schätzt, dass es einem Menschen etwa 100.000 Jahre dauern würde, alle Texte zu lesen, die für das Training dieser Modelle benötigt werden.

Die Hauptart, wie Menschen lernen, ist jedoch nicht das Lesen von Texten.

Wir erhalten viel mehr Informationen aus der Interaktion mit der Welt. LeCun schätzt, dass die Datenmenge, die ein durchschnittlicher vierjähriger Kind in Kontakt kommt, 50 Mal größer ist als die des größten derzeitigen LLMs.

Der größte Teil des menschlichen Wissens ist nicht Sprache.

Also können diese Systeme niemals menschliche Intelligenz erreichen - es sei denn, Sie ändern ihre Architektur grundlegend.

Und er selbst hat bereits ein alternatives Konzept parat. Er nennt es "zielorientierte KI" (objective-driven AI).

Das Ziel bei der Entwicklung zielorientierter KI-Systeme ist es, bestimmte Ziele, die vom Menschen festgelegt werden, zu erreichen.

Im Gegensatz zu reinen Textdaten-gesteuerten Modellen lernen sie, die physische Welt zu verstehen, indem sie über Sensoren und Videodaten trainiert werden.