Vier KI-Wissenschaftler diskutieren: Wie sollten wir reagieren, wenn KI sich selbst weiterentwickeln kann?

Vor ungefähr einer Woche hat Anthropic, das sich gerade für die Börsengänge vorbereitet, einen Artikel auf seinem offiziellen Blog aktualisiert. Der Titel des Artikels lautet: „When AI build itself“.

Am Tag der Veröffentlichung dieses Artikels wurde die Frage der KI-Sicherheit erneut in das Zentrum der öffentlichen Debatte gerückt.

Anthropic diskutiert in diesem Artikel ein Problem namens „KI-Selbstentwicklung“ und weist darauf hin: „Die KI kann bereits an der Arbeit beteiligt sein, stärkere Modelle für sich selbst zu bauen. Dies geschieht viel schneller, als wir erwartet haben.“

Eigentlich ist die KI-Selbstentwicklung keine neue Technologie. Sogar seit dem ersten Tag der Entstehung der KI-Technologie haben Menschen darüber nachgedacht, wie man die KI in den Prozess der Selbstentwicklung einbeziehen kann.

Genauso wie im Bereich der Embodied Intelligence (verleibte Intelligenz) die Menschen sich jetzt vorstellen, dass humanoide Roboter andere humanoide Roboter bauen.

Tatsächlich fürchten sich die KI-Wissenschaftler einerseits vor der Selbstentwicklungskapazität der KI, andererseits forschen sie auch an und nutzen diese Selbstentwicklungskapazität.

Tian Yuandong (ehemaliger Forschungsdirektor des Meta FAIR-Teams), der während der Entlassungswelle bei Meta viel Beachtung erhielt, hat Anfang dieses Jahres seine Unternehmensgründung angekündigt. Der Name des Start-ups lautet Recursive Superintelligence (RSI), und das Ziel ist direkt auf die KI-Selbstentwicklung gerichtet.

Gerade diese Firma hat vor kurzem eine Finanzierung in Höhe von 650 Millionen US-Dollar abgeschlossen und einen Schätzwert von 4,65 Milliarden US-Dollar (etwa 31,5 Milliarden Yuan) erreicht. Sie ist damit ein weiterer Silicon Valley-KI-Superstar, der von vielen Konzernen heiß begehrt wird.

Also, was genau ist die KI-Selbstentwicklung? Kann die Selbstentwicklung dazu führen, dass die KI außer Kontrolle gerät? Wie sollen die Menschen mit der KI koexistieren?

Die aktuelle KI-Selbstentwicklung ist auch ein Hauptthema der diesjährigen Zhiyuan-Konferenz. Auf dieser Konferenz haben wir die Überlegungen und Vorhersagen von vier jungen KI-Wissenschaftlern zu diesem Thema gehört.

Vielleicht können wir aus ihrer Perspektive die zukünftige Entwicklung der KI-Selbstentwicklung erahnen und auch in der KI-Angst Anregungen für die Bewältigung finden.

Die KI-Wissenschaftler, die von der Zhiyuan-Konferenz eingeladen wurden, um über dieses Problem zu diskutieren, sind:

Lin Tao, besonderer Forscher an der Fakultät für Ingenieurwissenschaften und Künstliche Intelligenz der Westlake-Universität;

Gu Yu, Mitbegründer von NeoCognition;

Wang Yan, ehemaliger Expert-Forscher von Tencent Hunyuan Frontier;

Yang Mengyue, Doktorandin an der University College London und Assistentin an der Universität Bristol.

Im Folgenden finden Sie eine Zusammenfassung und Aufbereitung des Dialogs der vier Gäste, ohne den ursprünglichen Inhalt zu verändern:

01 Was ist die KI-Selbstentwicklung?

Frage: Viele KI-Systeme reflektieren sich und ändern die Prompt-Eingaben. Das klingt nach Selbstverbesserung. Wie würde man die KI-Selbstentwicklung strenger definieren?

Lin Tao: Ich denke, die Selbstentwicklung sollte eine mehrstufige Entwicklung sein. Sie kann die Entwicklung des externen Gehirns oder des internen Gehirns sein.

Wichtig ist, dass die KI ihre eigenen Grenzen erkennen und gleichzeitig ihr externes und internes Gehirn entwickeln kann. Oder während der Entwicklung des externen Gehirns können mehr externe Fähigkeiten internalisiert werden, um die Entwicklung des internen Gehirns weiter zu fördern.

Gu Yu: Ich denke, die zwei wichtigsten Dimensionen von RSI (recursive self improvement, rekursive Selbstverbesserung) sind Proactiveness (Initiative) und Learning (Lernen).

Learning bezieht sich darauf, wie die KI zuverlässige kontinuierliche und Online-Lernalgorithmen erwerben kann. Das andere Problem ist die Selbstentwicklung. Der Agent muss wissen, in welche Richtung er sich entwickeln soll.

Die Selbstentwicklung muss also zwei Probleme lösen:

Das erste ist die Metakognition auf der Ebene des „Was“ (Meta-Kognition). Man muss wissen, was man fehlt, was man braucht und wie man wählen sollte.

Das zweite ist die Ebene des „Wie“, d. h. wie der Lernalgorithmus konkret implementiert wird.

Wang Yan: Zumindest aus heutiger Sicht ist die KI-Selbstentwicklung erreicht, wenn das System weniger auf den Menschen angewiesen ist als bei der traditionellen SFT (Supervised Fine-Tuning) und RL (Reinforcement Learning). Das System hat dann bereits Selbstentwicklung erreicht.

Yang Mengyue: Das RSI, das wir jetzt besprechen, ist eine Weiterentwicklung der Selbstverbesserung. Es geht nicht nur darum, dass die Fähigkeiten verbessert werden, sondern auch, ob die „Entwicklungsfähigkeit“ selbst stärker wird.

Ein wichtiges Problem ist, dass die Mitbegründer des Unternehmens Recursive (Recursive Superintelligence), Jeff Clune und Tim Rocktaschel, in Richtung Open-endedness (Offenheit) forschen.

Was ist also Open-endedness?

In einer offenen Welt muss ein Agent die Fähigkeit haben, sich selbst Fragen zu stellen. Er muss seine Wissensgrenzen, Systemgrenzen und Gedächtnisgrenzen erkennen und diese Grenzen überschreiten, um Fragen zu stellen.

Um sich ohne den Menschen zu entwickeln und sogar die Fähigkeit zur Entwicklung zu verbessern, ist seine Fähigkeit, Fragen zu stellen, sehr wichtig.

Frage: Welcher Teil der KI-Selbstentwicklung ist heute am wertvollsten und am ehesten reif?

Wang Yan: Haben Sie vielleicht bemerkt, dass die Iteration der Modelle nach Januar 2025 beschleunigt hat?

Tatsächlich schreiben die Leute im Bereich der Basismodelle, die am besten mit den Grenzen der KI-Fähigkeiten vertraut sind, keine Code mehr. Dies ist bereits ein Fakt bei der Basismodell-Trainierung.

Man kann deutlich spüren, dass die Iterationsgeschwindigkeit der Basismodelle zunimmt, einschließlich Claude, GPT und auch der Basismodelle in China. Man kann nicht sagen, dass dies vollständig auf die Selbstentwicklung zurückzuführen ist, aber es gibt bereits KI, die KI iteriert.

Was die erste Reife betrifft, bin ich am stärksten von der Basismodell-Trainierung beeindruckt. Obwohl jemand die Richtung vorgibt, entwickelt sich das Basismodell im Wesentlichen bereits selbst.

Frage: Kann das Basismodell eine starke Fähigkeitssteigerung erreichen, wenn man nur andere Bestandteile entwickelt und die Modellparameter nicht ändert?

Wang Yan: Sicherlich.

Einfach die Prompt-Eingaben zu ändern, kann bereits bessere Ergebnisse erzielen.

Manchmal frage ich mich, warum die Praktikanten die Aufgaben, die ich ihnen gegeben habe, nicht erledigen können. Wenn ich ihre Prompt-Eingaben sehe, stelle ich fest, dass sie schlecht formuliert sind.

Wenn ich einfach eine bessere Prompt-Eingabe schreibe und die Regeln klarer formuliere, kann ich bessere Ergebnisse erzielen.

Wenn ich das kann, können auch höherdimensionale siliziumbasierte Wesen es besser machen, auch ohne die Modellparameter zu ändern.

Frage: Was denkt Herr Lin dazu?

Lin Tao: Dies sollte ein iterativer Prozess sein. Wir brauchen ein besseres Harness (Steuerungssystem), also ein externes Gehirn, um die Grenzen des aktuellen Modells auszuschöpfen.

Je mehr Leute ihr eigenes Harness haben, desto wahrscheinlicher ist es, dass diese Programme zur Trainierung stärkerer Basismodelle verwendet werden können.

Auf der Grundlage stärkerer Basismodelle werden wir ein stärkeres Harness und ein besseres externes Gehirn entwickeln. Dies ist auch ein iterativer Prozess.

Frage: Welcher Bereich wird unter Berücksichtigung aller Ressourcen zuerst reif?

Lin Tao: Ich denke, die Entwicklung eines Harness ist am einfachsten.

Gu Yu: Ich neige dazu, Harness und Skill aus einer einheitlichen Perspektive zu betrachten.

Aus einer einheitlichen Perspektive gesehen sind sie alle Langzeitgedächtnis, nur aus unterschiedlichen Blickwinkeln.

Beispielsweise ist Harness eine Art Meta-Ebene (Meta-Kognition) des Langzeitgedächtnisses, Skill eher ein Langzeitgedächtnis für Workflow oder Prozesswissen, und die Modellparameter sind möglicherweise eher ein Langzeitgedächtnis für Intuition.

Wenn ich sagen soll, was zuerst zu tun ist, ist es aus akademischer Forschungsansicht schwer zu sagen. Sie sind alle wichtig und ergänzen sich gegenseitig.

Aus Unternehmenssicht gibt es viele praktische Faktoren. Am einfachsten zu beginnen ist mit dem Harness. Mit einem Harness kann man ein Produkt entwickeln, mit einem Produkt kann man Benutzer gewinnen, und mit Benutzern bekommt man Daten und bildet einen geschlossenen Kreis. Dies ist eine nicht-technische Sichtweise.

Yang Mengyue: Ich interessiere mich besonders für die Entwicklung auf der Ebene des Gedächtnisses (Memory), da mein Forschungsgebiet die Verständnis von Regeln und Kausalitäten ist.

Man kann spüren, dass die Fähigkeiten der Modelle immer stärker werden und allmählich die Fähigkeiten des Harness übernehmen und die Grenzen des Harness erreichen.

Die zukünftige Entwicklung ist also schwer vorherzusagen. Es ist möglich, dass die Basismodelle immer stärker werden und die Verbesserung in Richtung Harness nur minimal ist.

02 In welchem Schritt entwickelt sich die KI zuerst?

Frage: Wann ist es am besten, dass die KI-Selbstentwicklung stattfindet?

Gu Yu: Ich möchte noch etwas zum Harness hinzufügen. Obwohl das Harness möglicherweise durch die Fortschritte der Modelle verdrängt wird, hängt es von dem Bereich ab. Ich denke, dass einige Module immer noch erforderlich sind.

Beispielsweise die Module zur Gewährleistung der Sicherheit und Überprüf barkeit des Modells. Dies ist der Teil, den ein probabilistisches Modell niemals ersetzen kann.

Was den Zeitpunkt der Selbstentwicklung betrifft, kann man es als Learning + Long-Term Memory (LTM, Langzeitgedächtnis) verstehen.

Für den Menschen ist jedes Mal, wenn er etwas begründet oder ein Problem löst, eine Lernchance. Der Mensch lernt nicht, indem er eine Reihe von Problemen sammelt und dann auf der Grundlage dieser Probleme statisch lernt.

Wenn man glaubt, dass das menschliche Lernen eine effiziente Methode ist, sollte es auch für Agenten so sein.

Man möchte, dass der Agent keine Lernchance verpasst, denn jede Schlussfolgerung kann ein Lernsignal liefern. Dies stimmt mit der Philosophie des Reinforcement Learnings überein. Aber derzeit befindet sich das Mainstream-Deep Learning noch in der Phase der Modellparameteraktualisierung, und es ist schwierig, Online-Learning zu implementieren.

Um dies wirklich zu erreichen, benötigt man neue Lernalgorithmen, beispielsweise auf der Grundlage nicht-parametrischer Aktualisierungen.

Frage: Gibt es hier einen Unterschied zwischen System 1 und System 2?

Gu Yu: Ja, es gibt einen Unterschied.

Wenn man die nicht-parametrischen Dinge als System 2 ansieht, ist es zwar expliziter und langsamer, aber es behält auch die Möglichkeit, in System 1 umzuwandeln. Dies umfasst auch die Generierung von mehr Daten auf der Grundlage der gelernten nicht-parametrischen Regeln, wie Herr Lin über die Umwandlung vom externen Gehirn zum internen Gehirn gesagt hat.

Wang Yan: Ich habe auch viel an TTT (Test-Time Training) gearbeitet und bin sehr an den TTT-Arbeiten interessiert.

Ich denke, dass es wichtig ist, dass das Modell beim Vorhersagen des nächsten Tokens den Aktualisierungsgradienten jedes Tokens lernt.

In Zukunft werden wir sicherlich einen Trainingsalgorithmus finden, der es dem Modell ermöglicht, zu lernen, wie der Gradient jedes Tokens aktualisiert werden soll. Dies ist der wahre End-to-End-Ansatz.

Lin Tao: Aus Sicht der Modelltrainierung kann die Entwicklung <