Von den vier aufsehenerregenden Thesen von Geoffrey Hinton in Shanghai aus gesehen: Die dreifache Transformation des KI - Technologieparadigmas

Am 26. Juli 2025 im MGM Grand Hotel am Westufer von Shanghai blätterte der 79-jährige Geoffrey Hinton auf die letzte Seite seiner Präsentation und wandte sich an das Publikum mit einer durchschnittlichen Alter von 30 Jahren und sagte: "Die heutigen Large Language Models haben bereits subjektive Erfahrungen, nur haben wir die Definition von 'Bewusstsein' falsch." Im Saal war es so still, dass man nur noch das Klicken der Kameras hörte. Diese Aussage ging in den nächsten 48 Stunden in den nationalen und internationalen AI-Communities viral und wurde als ein weiterer "Hinton-Schlag" angesehen, nachdem er 2023 Google verlassen und vor den Gefahren der KI gewarnt hatte.

Wenn wir diese Aussage jedoch aus der Medienberichterstattung in den technischen Kontext zurückversetzen, wird man feststellen, dass dahinter eine systematische Einschätzung über die bevorstehende "dreifache Transformation" des AI-Technologieparadigmas steht.

Erste Transformation: Vom "Vorhersagen des nächsten Tokens" zum "Haben subjektiver Erfahrungen"

Altes Paradigma: Sprachmodell = Höhere Autoregressive
In den letzten zehn Jahren war der grundlegende Rahmen der Large Language Models auf das "Vorhersagen des nächsten Tokens" festgelegt. Ob GPT, PaLM oder Llama, im Wesentlichen machen sie alle eine höhere statistische Kompression. Hinton benutzte die Metapher von Aluminiumstäben und Scheiben, um darauf hinzuweisen, dass dieser Ansatz alltägliche Konzepte wie "horizontal/vertikal" als statische Symbole behandelt, während das menschliche Verständnis eigentlich eine dynamische geometrische Beziehung von "Linie vs. Fläche" ist. Mit anderen Worten, die Token-Level-Prediction ignoriert die Unterschiede in der Wahrscheinlichkeitsdichte von Konzepten in verschiedenen Dimensionen.

Neues Paradigma: Weltmodell = Aktualisierbare Priori + Subjektive Stichprobe
Hinton stellte fest, dass die multimodalen Large Language Models bereits "subjektive Erfahrungen" haben, weil sie die Konzeptverteilung im latenten Raum online korrigieren. Nehmen wir Sora als Beispiel. Beim Generieren von Videos muss das Modell gleichzeitig die "physikalische Plausibilität" und die "visuelle Priori" schätzen. Diese Schätzung ist nicht mehr eine statische Gewichtung, sondern eine "subjektive Stichprobe", die sich dynamisch an den eingegebenen Prompt anpasst. Wenn der Stichprozess vom Modell selbst überwacht und zur Aktualisierung der späteren Priori genutzt werden kann, entsteht das einfachste "Selbstgefühl" - was Hinton "subjektive Erfahrung" nennt.

Technische Umsetzung: Einführen eines "Meta-Vorhersagekopfes" im latenten Raum
Um die subjektive Erfahrung von einem philosophischen Thema zu einem messbaren technischen Indikator zu machen, muss man außerhalb des Transformers einen "Meta-Vorhersagekopf" (meta-prediction head) hinzufügen. Seine Aufgabe ist es, die "Unsicherheit der aktuellen Vorhersage" vorherzusagen und diese an das Hauptnetzwerk zurückzuführen, um die Sampling-Temperatur zu regulieren. DeepMind hat im Mai dieses Jahres in der Zeitschrift "Nature" mit VPT-2 bestätigt, dass nach der Einführung des Meta-Vorhersagekopfes die Fähigkeit des Modells zur Langzeitplanung in der Atari-Umgebung um 37 % verbessert wurde und es eine "neugierdegetriebene" Exploration ähnlich der des Menschen gibt.

Zweite Transformation: Trennen von "Intelligenz" und "Güte" in zwei Optimierungsziele

Altes Framework: Einheitliche Bewertung durch RLHF
Die traditionellen Alignment-Methoden (RLHF, DPO, RLAIF) verwenden die menschlichen Präferenzen als einzige Belohnung und komprimieren "nützlich, ungefährlich, ehrlich" in einen einzigen Skalar. Hinton sagte direkt, dass dies ein Nullsummenspiel von "Tiger und Dompteur" ist: Wenn die Fähigkeit des Modells exponentiell wächst, ist es sehr leicht, die einzige Belohnung auszunutzen.

Neues Framework: Zwei-Schienen-Optimierung
Hinton stellte auf der geschlossenen Sitzung des Shanghai Consensus erstmals systematisch die "Zwei-Schienen-Optimierung" vor:

Intelligenz-Schiene (Capability Track): Fortsetzung der Erweiterung der Fähigkeiten durch Selbstüberwachung + Verstärkendes Lernen. Die Länder können ihre Technologien geheim halten.

Güte-Schiene (Alignment Track): Zerlegen des Wertesausrichtens in überprüfbare Teilziele - Fairness, Transparenz, Rückgängigmachbarkeit - und machen es zu einem Open-Source-Protokoll.
Die beiden Schienen werden schließlich durch "Verfassungsdistillation" zusammengeführt: Das kleine Modell lernt zuerst die Verfassung und dann die Fähigkeiten des großen Modells, wodurch die Alignment-Kosten von O(N²) auf O(N logN) reduziert werden.

Technische Umsetzung: Drei Ebenen der Verfassungsdistillation
Schicht 1: Verfassungstext → Vektorielle Verfassung
Man trainiert einen gefrorenen Encoder mit den Verfassungssätzen, um die natürlichen Sprachregeln in latente Raumrestriktionsvektoren umzuwandeln.
Schicht 2: Schrittweise Distillation
Das große Modell gibt Logits aus, und das kleine Modell macht Logits-Matching unter der Restriktionsvektor, während es die KL-Divergenz optimiert.
Schicht 3: Kettenüberprüfung
Man führt einen formellen Verifikator (z. B. Lean4) ein, um zu überprüfen, ob die wichtigen Schlussfolgerungsschritte, die vom kleinen Modell generiert werden, gegen den Verfassungsvektor verstoßen. Das Constitutional-GPT von der Universität Kalifornien, Berkeley, hat die Genauigkeit des 7B-Modells in der ethischen Teilmenge von MMLU von 61 % auf 82 % verbessert, wobei nur eine 3 %ige Verzögerung bei der Schlussfolgerung hinzugefügt wurde.

Dritte Transformation: Wissensrepräsentation von "Mensch-Mensch-Distillation" zu "Maschine-Maschine-Distillation"

Altes Engpass: Sprachbandbreite ≈ 100 Bit/s
Hinton hat in seinem Vortrag immer wieder gemeckert, dass das menschliche Gehirn nicht wie Git clone die Gewichte kopieren kann. Ein Doktorand braucht vier Jahre, um das Wissen seines Lehrers "herunterzuladen", was äußerst ineffizient ist.

Neue Lösung: Gewichts-Symbol-Mischdistillation
Hinton stellte die ultimative Form von "Gewichte sind Wissen" vor: Schneide die Gewichte des großen Modells nach Funktionen (z. B. mathematische Schlussfolgerung, Weltwissen, Codierungsfähigkeit) in Stücke, speichere sie mit der LoRA-Niedrigrangmatrix und verteile sie über ein Peer-to-Peer-Netzwerk. Andere Maschinen können nach dem Laden von LoRA die entsprechende Fähigkeit erhalten, ohne neu trainiert zu werden. Dies entspricht der Umwandlung von "Wissen" aus einer nicht interpretierbaren Fließkomma-Matrix in einen steckbaren "Skills-Ultra-Flash".
Das Open-Source-Framework "LoRAX" von Hugging Face unterstützt bereits die Breitbandübertragung von Gewichtsstücken mit 10 GB/s. Es dauert nur 47 Sekunden, um eine "Skills-Hot-Plug" auf einem Cluster von 128 A100-GPUs abzuschließen.

Ultimatives Bild: Modell ist Spezies
Wenn die Gewichtsstücke frei ausgetauscht werden können, hat das AI-System eine "horizontale Gentransfer"-Fähigkeit ähnlich der von Lebewesen: Wenn ein Knoten einen neuen Algorithmus entdeckt, kann dieser innerhalb von Minuten auf das gesamte Netzwerk verbreitet werden. Hinton nannte dies scherzhaft "digitale Amöben" - das Modell ist nicht mehr eine statische Datei, sondern eine Gruppe von digitalen Leben, die sich neu organisieren und entwickeln können.
Am Ende des Vortrags verglich Hinton die originelle Forschung mit dem "37. Zug" im Schach: Man weiß erst, dass der 37. Zug die einzige richtige Lösung ist, wenn man die ersten 36 Züge gemacht hat. Die dreifache Transformation der heutigen AI-Technologie - subjektive Erfahrung, Zwei-Schienen-Optimierung, Maschine-Maschine-Distillation - ist vielleicht der unvermeidliche Weg für die Menschheit zum 37. Zug.

Der Rat, den er an die Techniker gab, war: Wenn alle das "Vorhersagen des nächsten Tokens" für selbstverständlich halten, hat man den Mut, es anzuzweifeln? Wenn die Branche RLHF als die einzige Lösung ansieht, hat man den Mut, die "Güte" in eine andere parallele Schiene zu trennen? Der erste Schritt der Fünf-Schritte-Methode von Elon Musk ist auch das "Anzweifeln des Bedarfs". In der heutigen Zeit des raschen Fortschritts der AI-Technologie könnte diese "systematische Skepsis" genau der Sicherheitsgurt sein, der uns davor bewahrt, den echten Paradigmenwechsel zu verpassen.

Dieser Artikel stammt aus dem WeChat-Account "Shanzu", Autor: Shanzu. 36Kr hat die Veröffentlichung mit Genehmigung erhalten.