Alle großen Sprachmodelle lernen Physik: Eine Studie der Physik-Fakultät der Peking-Universität hat die Künstliche-Intelligenz-Branche erschüttert.
LLM-Agenten sind großartig und werden zu einem starken Paradigma zur Lösung komplexer Probleme.
Derzeit bleibt dieser Erfolg jedoch größtenteils auf der Ebene der „empiristischen“ Ingenieurpraxis – wir wissen, dass es funktioniert, aber oft nicht, warum es auf makroskopischer Ebene so funktioniert. Können wir also einen theoretischen Rahmen finden, um die makroskopische Dynamik von Agenten zu verstehen und zu vereinheitlichen, ähnlich wie die Physik die Natur beschreibt?
Um diese schwarze Kiste aufzudecken, haben kürzlich das Physik-Institut der Peking-Universität, das Forschungszentrum für Höhere Energiephysik und das Peking Center for Computational Science gemeinsam angewandt und das klassische Prinzip der kleinsten Wirkung (least action principle) aus der Physik übernommen. Sie haben eine neuartige Methode entwickelt, mit der sie erfolgreich die verborgene Generierungsrichtung (directionality) des in den Agenten eingebetteten LLMs geschätzt und die möglicherweise hinter dem AI-Generierungsprozess liegenden „physikalischen Gesetze“ aufgedeckt haben.
Titel der Studie: Detailed balance in large language model-driven agents Link zur Studie: https://arxiv.org/pdf/2512.10047
Einfach ausgedrückt, haben sie durch Experimente die Übergangswahrscheinlichkeiten zwischen den Generierungszuständen des LLMs gemessen. Basierend darauf haben sie statistisch das Phänomen des detaillierten Gleichgewichts (detailed balance) bei den LLM-Generierungsübergängen entdeckt.
Dies zeigt: Die Generierung des LLMs erfolgt möglicherweise nicht durch das allgemeine Lernen von Regelsätzen und Strategien, sondern durch das implizite Lernen einer Klasse von potenziellen Potenzialfunktionen (potential functions), die möglicherweise über verschiedene LLM-Architekturen und Prompt-Vorlagen hinausgehen.
Das Team erklärte: „Soweit wir wissen, ist dies das erste Mal, dass makroskopische physikalische Gesetze in der LLM-Generierungsdynamik entdeckt wurden, ohne auf spezifische Modelldetails zu vertrauen.“
Was heißt das? Einfach ausgedrückt, haben das Team festgestellt, dass das Denken der KI nicht auf „auswendiges Lernen“ beruht, sondern eher auf einem „physikalischen Instinkt“, ähnlich wie Wasser nach unten fließt.
Ja, wenn LLM-Agenten Probleme lösen, verhalten sie sich nicht so, wie viele denken, nämlich nur durch die Übereinstimmung von Regeln oder zufällige Versuche, sondern sie scheinen eine unsichtbare Topographie (Potenzialfunktion) zu erkennen. In dieser Topographie sind falsche Antworten wie Berge, während die richtigen Antworten Täler sind. Jede Inferenz und Generierung des Agenten erfolgt tatsächlich unter der Wirkung des Prinzips der kleinsten Wirkung und fließt auf natürliche Weise in einen Zustand mit niedrigerem Potenzial und höherer Qualität.
Dies bedeutet, dass die KI in der Lage ist, komplexe Probleme zu lösen, weil sie in ihren Massenparametern eine globale „Intuition“ entwickelt hat. Dies ist auch das erste Mal, dass Wissenschaftler makroskopische physikalische Gesetze in der KI-Generierung entdeckt haben, die nicht von einem bestimmten Modell abhängen.
Diese Entdeckung hebt die KI-Forschung von der „Alchemie“ auf das Niveau der quantifizierbaren „physikalischen Wissenschaft“. Durch die Verifizierung des Phänomens des „detaillierten Gleichgewichts“ in der Physik hat das Team bestätigt, dass die Denksprünge der KI nicht undurchschaubar sind, sondern genauso wie ein thermodynamisches Gleichgewichtssystem strenge mathematische Verhältnisse aufweisen.
Dies ermöglicht es uns, verschiedene große Modelle mit physikalischen Indikatoren zu beschreiben. Beispielsweise haben die Forscher festgestellt:
Claude-4 verhält sich wie ein eifriger Schüler, der sich schnell auf eine Antwort (Potenzialmulde) konzentriert, aber auch eher stur sein kann;
GPT-5 Nano verhält sich hingegen wie ein Entdecker, der zwar langsamer konvergiert, aber lieber in den Zustandsraum hinausgeht und unbekannte Möglichkeiten erkundet.
Dieser theoretische Rahmen ermöglicht es uns, die KI-Verhaltensweisen mit wissenschaftlichen Messmethoden vorherzusagen und zu steuern, anstatt nur auf blinde Ingenieurversuche zu vertrauen. Wie auch in einer jüngsten Studie von Google gezeigt wurde (siehe Bericht „Google veröffentlicht Skalierungsgesetz für Agenten: 180 Experimente brechen die traditionelle Alchemie“), wird die Forschung an KI-Agenten nicht mehr nur eine einfache Ingenieurpraxis, sondern entwickelt sich zu einer messbaren und vorhersagbaren Wissenschaft, die auf wirksamen Messungen basiert.
Schauen wir uns nun genauer an, was das Team der Peking-Universität tatsächlich entdeckt hat.
Theorie
Um dieses Problem streng zu formulieren, untersucht das Team einen Agenten, dessen Kern aus einem oder mehreren LLMs besteht.
Der Agent nimmt seinen aktuellen Zustand f als Eingabe, organisiert und bewertet den Zustand durch eine Reihe von deterministischen Schritten und generiert daraus einen relevanten Prompt. Anschließend wird dieser Prompt in ein oder mehrere LLMs eingegeben, und die strukturierte Ausgabe wird analysiert, um einen neuen Zustand g zu erhalten. Dieser Zustand ist die kleinste Einheit zur Untersuchung der LLM-Dynamik.
Dieser Generierungsprozess kann als ein Markov-Übergangsprozess im Zustandsraum 𝒞 betrachtet werden, dessen Übergangskern P (g|f) ist. Dies behält die Vielfalt und Anpassungsfähigkeit der LLM-Generierung bei. Der Zustand wird durch die vollständigen Informationen definiert, die der Agent in jedem Zeitschritt behält, und sollte alle Informationen enthalten, die der Agent für kontinuierliche Inferenz- oder Analogieschritte benötigt. In diesem Artikel beinhaltet der Agent nur einen einzelnen Generierungsschritt des LLMs. Wir bezeichnen 𝒯(g←f)=P (g|f) als die Wahrscheinlichkeit, dass der Agent durch die LLM-Generierung von einer Vorlage, die den Zustand f enthält, zu einer Ausgabe übergeht, die den Zustand g enthält.
Abbildung 1 zeigt eine schematische Darstellung.
Das Merkmal von LLM-basierten Agenten besteht darin, dass ihre Zustandsübergänge nicht vollständig zufällig sind, sondern eine gewisse strukturierte Präferenz aufweisen.
Genauer gesagt neigt der Agent dazu, vom aktuellen Zustand f zu einem Zustand g zu übergehen, der aus der Perspektive des Agenten „besser“ ist.
Um dieses Phänomen zu erfassen, wird angenommen, dass es eine potenzielle Potenzialfunktion V_𝒯:𝒞→ℝ gibt, die jedem Zustand einen Skalarwert zuweist, um seine „Qualität“ widerzuspiegeln. Da eine bestimmte Potenzialfunktion normalerweise nicht direkt berechnet werden kann, haben die Forscher eine Methode zur effektiven Schätzung dieser Potenzialfunktion entwickelt.
Gegeben eine globale Potenzialfunktion V definieren die Forscher die Verletzung der Potenzialfunktion durch einen gegebenen Übergang 𝒯(g←f) des Agenten als K (V (f)−V (g)), wobei K (x) eine konvexe Funktion ist, die beschreibt, inwieweit der Übergang vom Zustand f zum Zustand g der Sortierung der Potenzialfunktion V widerspricht. Um den gesamten Übereinstimmungsgrad zwischen dem Agentenverhalten und der Potenzialfunktion zu quantifizieren, definieren die Forscher die Wirkung 𝒮 als die globale durchschnittliche Verletzung, gewichtet mit dem Übergangskern 𝒯(g←f):
Dabei sind Df und Dg Maße auf dem Zustandsraum. In diesem Artikel wählen die Forscher K (x)=exp (-βx/2) als die konvexe Funktion, die die Stufe der Verletzung der Sortierung der Skalarfunktion V durch einen gegebenen Zustandsübergang von f nach g beschreibt. Die Verteilung der Wirkung S oder von βV (f) kann die globale kognitive Fähigkeit des Agenten im Zustandsraum C repräsentieren.
Die Forscher schlagen vor, dass, um das Verhalten des LLMs mit einer Potenzialfunktion zu quantifizieren, man eine Potenzialfunktion finden sollte, die die Gesamtabweichung zwischen den Agentenübergängen und der Potenzialfunktion minimiert. Daher ist die Potenzialfunktion V_𝒯, die den gegebenen Zustandsraum eines LLM-basierten Agenten 𝒯 am besten beschreibt, die Funktion, die die Wirkung S minimiert.
Dies bedeutet, dass die Wirkung dem Variationsprinzip der Potenzialfunktion V_𝒯 genügt:
Diese Variationsbedingung ist äquivalent dazu, dass V_𝒯 die folgende Gleichgewichtsbedingung erfüllt:
Dies gilt für alle f∈C, wobei K'(x)=dK/dx.
Genauer gesagt, wenn für alle Übergänge 𝒯(g←f)>0 V (f)≥V (g) gilt, bedeutet dies, dass die Zustandsübergänge des Agenten vollständig geordnet sind. In diesem Fall fungiert V als Lyapunov-Funktion.
Es ist wichtig zu beachten, dass, wenn 𝒯 die Übergänge eines Gleichgewichtssystems beschreibt und die Zustandsübergänge die Bedingung des detaillierten Gleichgewichts erfüllen, d. h. für alle Zustandspaare (f,g) die folgende Gleichung gilt:
Dabei stellt π(f) die Gleichgewichtsverteilung des Systems im Zustand f dar, und P (g|f) ist der Übergangskern. In diesem Fall gibt es eine Potenzialfunktion V, die das detaillierte Gleichgewicht explizit darstellen kann als:
Einsetzen in Gleichung (3) zeigt, dass diese Potenzialfunktion V=V_𝒯 das Prinzip der kleinsten Wirkung erfüllt. Dies bedeutet, dass für ein Gleichgewichtssystem, wenn das detaillierte Gleichgewicht besteht, die potenzielle Potenzialfunktion durch das Prinzip der kleinsten Wirkung geschätzt werden kann. Im Allgemeinen versucht das Prinzip der kleinsten Wirkung nur, die ordnungsgemäßeste Anordnung der Potenzialfunktion zu finden, um die Verletzung dieser Anordnung durch die Agenten-Zustandsübergänge zu minimieren.
Die Forscher weisen darauf hin, dass LLM-basierte Agenten in ihrem LLM-generierten Zustandsraum oft wie ein Gleichgewichtssystem verhalten, wobei dieser Zustandsraum gegenüber der vollständigen Generierungssequenz des LLMs grob granuliert ist. Das Vorhandensein dieses Phänomens zeigt, dass es in der LLM-Generierungsdynamik eine allgemeine makroskopische Regel gibt, die nicht von den Details des spezifischen Modells und der Aufgabe abhängt. Dies bedeutet, dass trotz des scheinbaren Unzusammenhangs zwischen verschiedenen LLM-Generierungsprozessen es potenzielle Verbindungen gibt, die es uns ermöglichen, die globale Ordnung in der LLM-Generierung durch die Potenzialfunktion V_𝒯 zu beschreiben und somit die interne Dynamik des LLMs zu erklären.
Schlussfolgerungen und Ausblick
In diesem Artikel stellen die Forscher einen Rahmen auf der Grundlage des Prinzips der kleinsten Wirkung vor, um die Generierungsdynamik von LLM-basierten Agenten in ihrem LLM-generierten Zustandsraum zu beschreiben und zu analysieren.
Durch Experimente an mehreren verschiedenen Modellen und Aufgaben haben die Forscher festgestellt, dass die Zustandsübergänge dieser Agenten in großem Maße die Bedingung des detaillierten Gleichgewichts erfüllen, was zeigt, dass ihre Generierungsdynamik Ähnlichkeiten mit einem Gleichgewichtssystem aufweist. Die Forscher haben weiterhin die zugrunde liegende Potenzialfunktion durch das Prinzip der kleinsten Wirkung geschätzt und ihre wichtige Rolle bei der Erfassung der inneren Richtung der LLM-Generierungsdynamik aufgedeckt.
Die Forscher haben eine erste Untersuchung der makroskopischen Regeln in der LLM-Generierungsdynamik durchgeführt.
Das Team sieht auch in die Zukunft: „Zukünftige Arbeiten können diesen Rahmen erweitern und weitere Werkzeuge aus Gleichgewichts- und nahezu Gleichgewichts-Systemen nutzen, um das LLM-Generierungsprozess zu verstehen und zu optimieren. Beispielsweise könnte die Untersuchung des Ausmaßes der Abweichung vom Gleichgewicht uns helfen, das Maß der Überanpassung des Modells zu verstehen, da ein überangepasstes Modell möglicherweise mehr lokale Strategiensätze lernt, anstatt das globale Generierungsmuster, das von der Potenzialfunktion bestimmt wird. Darüber hinaus könnten auf der Potenzialfunktion basierende Optimierungsmethoden auch neue Ansätze zur Verbesserung der Qualität und Vielfalt der LLM-Aufgaben-generierung bieten, beispielsweise durch die Anpassung der Größe der Wirkung gemäß verschiedenen Sicherheits- und Erkundungsanforderungen.“