Neue Studie des Teams von LeCun: Die Nachahmung menschlicher Intelligenz in der KI führt zu einer Sackgasse.
Die seit Jahren von der KI-Community verfolgte Allgemeine Künstliche Intelligenz (AGI) hat möglicherweise von Anfang an den falschen Weg eingeschlagen.
Der Turing-Award-Gewinner Yann LeCun schlägt in seiner neuesten Studie vor, dass die zukünftige Entwicklung der KI nicht darin bestehen sollte, den Menschen zu imitieren, sondern auf einem anderen Weg liegen sollte –
Übermenschliche Anpassungsfähige Intelligenz (Superhuman Adaptable Intelligence, SAI).
In diesem Rahmen hat sich das Entwicklungsziel der KI in drei wichtigen Punkten verändert:
Der Mensch ist nicht mehr das Bezugssystem.
Es wird Spezialisierung gefördert, um übermenschliche Fähigkeiten in bestimmten Bereichen zu erreichen.
Der Kernindikator zur Messung der Intelligenz hat sich von „wie viele Fähigkeiten man beherrscht“ zu „wie schnell man neue Fähigkeiten erlernt“ gewandelt.
Mit anderen Worten, die SAI strebt nicht mehr danach, „so schlau wie ein Mensch zu sein“, sondern konzentriert sich auf eine noch grundlegendere Sache:
Die Geschwindigkeit, mit der ein System sich an neue Aufgaben anpasst.
Es ist erwähnenswert, dass LeCun in seiner Studie auch eine ziemlich interessante These aufstellt: Der Mensch selbst ist eigentlich auch nicht „allgemein“.
Was wir als „allgemeine Fähigkeiten“ bezeichnen, ist in hohem Maße das Ergebnis der biologischen Evolution –
Der Mensch hat im Laufe der langen Evolutionsgeschichte allmählich eine Kompetenzkombination fürs Überleben erworben.
Der Weg zur übermenschlichen Anpassungsfähigen Intelligenz (SAI)
Nach der Definition in der Studie: Übermenschliche Anpassungsfähige Intelligenz (Superhuman Adaptable Intelligence, SAI) bezieht sich auf ein System:
Das in der Lage ist, sich schnell anzupassen, Menschen in Aufgaben zu übertreffen, die der Mensch auch bewältigen kann, und gleichzeitig eine Vielzahl von Aufgabenbereichen zu lösen, in die der Mensch noch nie eingedrungen ist.
Hier gibt es einen wichtigen Wandel. In der Vergangenheit war die Entwicklungsphilosophie der KI: Den Menschen als Maßstab für die Intelligenz zu nehmen.
Solange eine Maschine das „menschliche Niveau“ erreichen kann, gilt sie als erfolgreich, wie beispielsweise beim Turing-Test.
Aber das Team um LeCun ist der Meinung, dass diese Denkweise an sich Probleme hat. In der Studie steht ein sehr direktes Statement:
Die Intelligenz auf den menschlichen Referenzpunkt zu fixieren, steht im Widerspruch zum Weg hin zu übermenschlichen Fähigkeiten.
Mit anderen Worten: Wenn das Ziel nur darin besteht, das „menschliche Niveau“ zu erreichen, kann dies die Entwicklung der KI eher einschränken.
Von dieser Perspektive aus gesehen, ist es nicht die Fähigkeit eines Modells, eine bestimmte feste Aufgabe zu erledigen, die wirklich optimiert werden sollte, sondern:
Die Geschwindigkeit, mit der ein System sich an neue Aufgaben anpasst.
Wenn man nämlich das „Imitieren des Menschen“ als Ziel hat, wird der Aufgabenraum der KI tatsächlich künstlich eingeschränkt –
Was der Mensch kann, lernt die KI auch. Aber die menschlichen Fähigkeiten selbst sind nur das Ergebnis der biologischen Evolution und repräsentieren nicht alle Möglichkeiten der Intelligenz.
Ein sinnvollerer Weg besteht darin, die KI ständig um ein definiertes Ziel herum zu optimieren und ihre Fähigkeiten durch Selbstspiel, Evolutionssuche und Massensimulation kontinuierlich zu verbessern.
Und diese These stimmt auch mit der von Richard S. Sutton in „The Bitter Lesson“ überein –
Was die Fortschritte in der KI tatsächlich antreibt, sind oft nicht die Techniken des menschlichen Imitierens, sondern die skalierbare Berechnung und die allgemeinen Lernmethoden.
In diesem Rahmen muss die KI den Menschen nicht imitieren, um in vielen Aufgaben die menschliche Leistung direkt zu übertreffen.
Im Gegenteil, wenn man sich zu sehr auf das „menschliche Niveau“ konzentriert, wird nicht nur das Forschungsziel in die Irre geführt, sondern auch die Entwicklung der KI auf einen menschzentrierten Aufgabenraum eingeschränkt.
Warum sollte die KI den Menschen nicht imitieren?
Als eine wichtige Voraussetzung für den Weg zur übermenschlichen Intelligenz gibt es in der Studie auch eine sehr interessante These: Der Mensch ist tatsächlich nicht so „allgemein“ wie wir denken.
Das menschliche Gehirn wurde nicht für Mathematik, Programmierung oder wissenschaftliche Forschung entwickelt. Sein ursprüngliches Ziel war nur eins: Im Urwald überleben.
Mit anderen Worten, die menschliche Intelligenz ist im Wesentlichen ein vom Evolution geprägtes Überlebenswerkzeug.
Die natürliche Selektion und die Evolution haben unsere Fähigkeiten optimiert, sodass wir gut in der visuellen Wahrnehmung und beim Gehen sind.
Diese Fähigkeiten erscheinen uns sehr „allgemein“, nur weil sie für das Überleben von entscheidender Bedeutung sind. Sobald wir diesen evolutionären Komfortzone verlassen, sind wir in anderen kognitiven Aufgaben eigentlich nicht so gut.
Beispielsweise in der Berechnung komplexer Wahrscheinlichkeiten, der hochdimensionalen Optimierung und der Massenlogischen Suche. In diesen Aufgaben ist die Leistung des Menschen weit hinter der der Computer zurückgeblieben.
Das klassischste Beispiel ist das Schach. Spitzen-Schachspieler scheinen unter den Menschen extrem schlau zu sein, aber sie haben gegen Computer längst keine Chance mehr.
Dies zeigt eigentlich eine Sache: Was wir als „AGI“ bezeichnen, ist in hohem Maße eine Täuschung. Wir können einfach nicht unsere biologischen Blindflecken sehen.
Und dieses Problem ist die gezackte Intelligenz, oder das sogenannte Moravec-Paradox (Moravec’s Paradox).
Einfach ausgedrückt: Was der Mensch am einfachsten findet (z.B. Gehen, Greifen), ist für Computer am schwierigsten;
Was der Mensch als schwierig empfindet, wie z.B. Schachspielen, mathematische Berechnungen, ist für Computer dagegen sehr einfach.
Der Grund ist einfach: Diese „einfachen“ Fähigkeiten sind tatsächlich das Ergebnis der evolutionären Entwicklung des Menschen über Millionen von Jahren. Sie sind eigentlich gar nicht einfach, wir sind nur daran gewöhnt.
Deshalb ist die Schlussfolgerung der Studie auch sehr direkt:
Wenn die zukünftige KI nur diese „überlebensorientierte Intelligenz-Toolbox“ des Menschen kopiert, wäre dies ein falscher technischer Weg.
Spezialisierung ist die Norm in der Intelligenz-Evolution
Wenn die „Allgemeinheit“ des Menschen selbst ein Blindfleck ist, was ist dann die wirklich richtige Richtung?
Yann LeCun zitiert in seiner Studie Erfahrungen aus der Biologie und dem Bereich des maschinellen Lernens und gibt die Antwort:
Spezialisierung ist die Norm in der Intelligenz-Evolution.
Aus biologischer Sicht ist Spezialisierung eigentlich die Norm. Bei begrenzten Ressourcen und komplexer Umwelt treibt die Evolution das System ständig in Richtung der Optimierung bestimmter Fähigkeiten.
Das KI-System steht ebenfalls unter demselben Druck.
Wenn in einem bestimmten Bereich die Kosten, die Genauigkeit und die Zuverlässigkeit einer Aufgabe sehr wichtig sind, wird jedes Modell, das diese Anforderungen nicht erfüllt, von einem spezialisierten System ersetzt.
Es gibt in der realen Welt viele solche Beispiele. Das typischste ist AlphaFold.
Dieses System wurde speziell für die Vorhersage der Proteinstruktur entwickelt. Durch eine auf die Aufgabe zugeschnittene Architektur, Daten und Trainingsstrategie hat es enorme Durchbrüche erzielt und die gesamte Biologiebranche direkt verändert.
Dies zeigt auch ein grundlegendes Gesetz im maschinellen Lernen: Der Erfolg eines Algorithmus kommt oft von seiner Übereinstimmung mit der Problemstruktur (Zielverteilung).
Wenn ein Modell sowohl Kleider falten, Auto fahren, Code schreiben als auch Proteinstrukturen vorhersagen soll, wird es wahrscheinlich in allen Aufgaben nur „etwas“ leisten können.
Deshalb sagt LeCun in seiner Studie:
Der KI, die uns beim Falten von Proteinen hilft, sollte nicht dieselbe sein wie die, die uns beim Falten von Kleidern hilft!
Dies ist in der KI eine klassische Erscheinung: Negative Übertragung (Negative Transfer).
Wenn mehrere Aufgaben um dieselbe Modellkapazität konkurrieren, können ihre Gradienten in Konflikt geraten und die Leistung eher beeinträchtigen.
Deshalb ist es aus technischer und theoretischer Sicht oft ein unwirtschaftlicher Weg, sich allzu sehr auf die Allgemeinheit zu konzentrieren.
LeCuns Antwort: SSL + Weltmodell
Jetzt stellt sich die Frage. Wenn man nicht die AGI anstrebt, wie kann man dann die SAI anstreben?
Das Team um LeCun gibt als technischen Weg drei Schlüsselwörter an:
Selbstüberwachtes Lernen + Weltmodell + modularisiertes System.
Zuerst ist es das Selbstüberwachte Lernen (Self-Supervised Learning). Diese Methode hängt nicht von menschlichen Annotationen ab, sondern lernt die Grundstruktur aus einer großen Menge von echten Welt-Daten.
Zweitens ist es das Weltmodell (World Models). Das heißt, die KI baut intern einen „Welt-Simulator“ auf, um wie der Mensch: die Zukunft vorherzusagen, zu planen und die Ergebnisse von Handlungen im Kopf zu simulieren.
So kann das System neue Aufgaben ohne explizites Training bewältigen.
Zuletzt ist es die modularisierte Architektur. Die Studie widerspricht klar der Meinung, dass es eine „alles beherrschende“ Modellarchitektur gibt, insbesondere die Vorhersage des nächsten Tokens im autoregressiven Paradigma.
Die zukünftige KI wird eher eine Reihe von miteinander kooperierenden Systemen sein, als ein Alleskönner-Modell.