Scaling Law als alleiniges Erfolgsrezept? Der erste Benchmark zur Manipulation von Kristallstrukturen lässt selbst die besten großen Modelle scheitern

Große Modelle stoßen bei atomaren Operationsaufgaben an Grenzen. Obwohl sie Materialwissen verarbeiten können, fällt es ihnen schwer, atomare Strukturen präzise zu steuern. Untersuchungen zeigen, dass das Scaling Law bei räumlichen Logikaufgaben nur begrenzte Wirkung hat – es wird betont, dass sich „AI for Science“ dem „Action Scaling“ zuwenden muss, um die Fähigkeiten der Modelle bei echten Forschungsoperationen zu verbessern.

In den letzten Jahren war die erfolgreichste Erkenntnis im Bereich großer Modelle zweifellos das „Scaling Law“. Es herrschte ein in der Branche weitgehend akzeptierter Konsens vor: Solange das Modell groß genug und die Datenmenge ausreichend ist, entstehen kontinuierlich neue Fähigkeiten – und das Modell kann sich sogar automatisch auf unbekannte Bereiche verallgemeinern.

Doch ein kürzlich veröffentlichter Benchmark für Materialwissenschaften liefert eine neue Perspektive auf diese optimistische Haltung, die auf dem Prinzip „Mehr Aufwand führt zu Wundern“ beruht.

AtomWorld – entwickelt von der Südchinesischen Universität für Wissenschaft und Technik (Suzhou), der University of New South Wales und weiteren Einrichtungen, vorgestellt auf der ICML2026 – zieht anhand einer Reihe realer atomarer Operationsaufgaben den Schluss: Das Scaling Law, das bei Szenarien wie Textverständnis und Wissenszusammenfassung zuverlässig funktioniert, erreicht bei atomaren praktischen Aufgaben, die durch physikalische Regeln eingeschränkt sind, oft nicht die erwarteten Ergebnisse.

Paper-Adresse: https://arxiv.org/abs/2510.04704

Projekt-Homepage: https://masterai-eam.github.io/atomworld/

Code-Repository: https://github.com/MasterAI-EAM/atomworld

Verstehen ist nicht gleich Handeln

In der Wissenschaft haben große Modelle bereits erstaunliches „Verständnisvermögen“ gezeigt: Sie lesen Fachliteratur, prognostizieren Materialeigenschaften, analysieren Kristallstrukturen und unterstützen sogar wissenschaftliche Entdeckungen.

Beispielsweise hat Anthropic die wissenschaftliche Arbeitsplattform „Claude Science“ entwickelt, die Forschung in schrittweise prüfbare Abläufe unterteilt – so wird die Effizienz bei Aufgaben wie Übersichtsartikeln oder Genanalysen um das Zehnfache gesteigert. Google DeepMinds GNoME nutzt neuronale Netze zur Vorhersage der Stabilität anorganischer Kristalle und erzeugt in einem geschlossenen Zyklus („Generieren von Kandidaten → DFT-Überprüfung → Datenrückfluss“) etwa 2,2 Millionen Strukturen.

Dies führte in der Branche zu der weitverbreiteten Annahme: Wenn Modelle materialbezogenes Wissen verstehen, sollten praktische Aufgaben wie das Erstellen von Atomstrukturen oder die Anpassung von Strukturen problemlos gelingen.

Doch die reale Materialforschung ist keine einfache Multiple-Choice-Prüfung. Der Forschungsalltag ist geprägt von sehr konkreten praktischen Anweisungen: die (001)-Oberfläche eines bestimmten Materials aufbauen, um die „Grenzen der realen Welt“ zu simulieren; Atome an bestimmten Gitterplätzen ersetzen, um Materialien zu dotieren oder zu modifizieren; neue Atome an definierten Zwischenräumen einbetten, um „Energiespeicher-“ und „Transportkanäle“ zu entwerfen.

Solche Aufgaben stellen ganz andere Anforderungen an die Fähigkeiten des Modells: die Fähigkeit zur dreidimensionalen Steuerung, die den physikalischen Gesetzen entspricht.

Um diese Fähigkeit objektiv zu messen, hat das Forschungsteam das Bewertungsframework „AtomWorld“ entwickelt – es basiert auf allgemein anerkannten „kristallographischen Informationen“ aus dem Materialbereich und führt automatisierte Bewertungen durch. Es prüft keine Fragen zur Materialerkennung oder Theorieanalyse, sondern konzentriert sich auf grundlegende räumliche Operationsaufgaben: Kann das Modell die Atomordnung gemäß Anweisungen präzise anpassen?

Abbildung 1: Schematischer Ablauf des AtomWorld-Benchmarks. Ablauf des AtomWorld-Generators: 1. Der Zufalls-Sampler ruft vordefinierte Atomstrukturen ab; 2. Der Zufalls-Initialisierer konfiguriert Atomnummern und Positionsparameter; 3. Strukturoperatoren berechnen die Zielstruktur; 4. Das Prompt-Modul erzeugt die entsprechende natürlichsprachliche Beschreibung. Die erzeugten Struktur-Text-Paare werden an den großen Modellagenten übergeben – mithilfe des pymatgen-Tools „StructureMatcher“ werden die Ausgabestruktur des Modells und die Standard-Zielstruktur verglichen, um die Modellleistung quantitativ zu bewerten.

Das Scaling Law stößt an seine Grenzen

Abbildung 2: Gesamtleistung verschiedener Modelle auf AtomWorld. a und c zeigen die Erfolgsrate; b und d zeigen den geometrischen Fehler „mean max_dist“. Links werden gängige Modelle verglichen, rechts werden Qwen-Modelle unterschiedlicher Größe verglichen. Eine Vergrößerung des Modellumfangs kann einige Aufgaben mit klaren Regeln verbessern – wie das Ersetzen, Löschen und Verschieben von Atomen. Bei Operationen, die dreidimensionales Verständnis und geometrische Planung erfordern – wie Rotationen, das Löschen von Bereichen oder das Erweitern von Superzellen – ist die Verbesserung jedoch nicht stabil. Selbst starke allgemeine Modelle wie Claude zeigen bei Aufgaben wie „Rotation um Atome“ schlechte Ergebnisse.

Die Ergebnisse von AtomWorld deuten darauf hin, dass das Scaling Law bei atomaren Operationsaufgaben nicht einfach als „Je größer das Modell, desto stärker die Fähigkeit“ verstanden werden kann.

Der Test deckte gängige Modelle ab – darunter Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro, Gemini 2.5 Pro, Qwen3-32B, GPT o3, GPT-4o-mini, DeepSeek Chat und Llama3-70B. Abbildung 2 zeigt: Eine Vergrößerung des Modellumfangs verbessert zwar einige regelbasierte, vorlagenfähige Operationen – bei Aufgaben, die von dreidimensionalen Raumbeziehungen abhängen, ist diese Verbesserung jedoch nicht stabil.

Am Beispiel der Qwen-Serie: Von 4B bis 32B steigt die Erfolgsrate bei Aufgaben wie dem Ersetzen, Entfernen und Verschieben von Atomen deutlich – was zeigt, dass ein größerer Umfang immer noch wertvoll ist. Doch diese Verbesserung konzentriert sich hauptsächlich auf Aufgaben mit klaren Regeln und festen Abläufen – sie überträgt sich nicht automatisch auf alle atomaren Operationen.

Herausforderndere Aufgaben zeigen deutliche Engpässe. Ein typisches Beispiel ist die „Rotation um Atome“: Sie erreicht nicht nur bei Qwen-Modellen unterschiedlicher Größe eine sehr niedrige Erfolgsrate, sondern auch bei starken Modellen wie Claude Opus 4.6 nur etwa 12 %. Dies zeigt, dass das Problem nicht darin liegt, dass einzelne Modelle nicht groß oder stark genug sind – sondern dass aktuelle große allgemeine Modelle generell keine stabile Fähigkeit zu dreidimensionalen Handlungen im physischen Raum besitzen.

Ähnlich unzuverlässig sind Ergebnisse bei Aufgaben wie „Löschen von Atomen unterhalb“ oder „Erweitern von Superzellen“ – selbst mit größeren Modellen. Der geometrische Fehler sinkt nicht zwangsläufig, wenn das Modell größer wird.

Daher lehnt AtomWorld das Scaling Law nicht einfach ab – es zeigt seine Anwendungsgrenzen auf: Ein größerer Umfang kann einige Fähigkeiten verbessern, aber er kann die zentralen Mängel bei Operationen im dreidimensionalen physischen Raum nicht automatisch ausgleichen. Für die Materialmodellierung lassen sich sprachliche Schlussfolgerungsfähigkeiten, Wissensreserven in Textform und Fähigkeiten zu atomaren Strukturoperationen nicht gleichsetzen.

In diesem Sinne weist AtomWorld auch in eine neue Richtung: Neben der Verfolgung von Parameterumfang und Textdatenmengen muss „AI for Science“ das „Action Scaling“ in den Fokus rücken.

Das bedeutet: Die Generierung von Daten zu ausführbaren Handlungen, die Zerlegung von Handlungselementen, Simulator-Feedback, physikalische Constraint-Überprüfung und Fehlerkorrektur durch Tool-Nutzung werden systematisch skaliert – damit Modelle nicht nur sprachlich stärker werden, sondern auch bei überprüfbaren wissenschaftlichen Handlungen.

Ein neues Wettbewerbsfeld für wissenschaftliche Agenten

Der Kernwert von AtomWorld liegt nicht nur darin, fehlerhafte Modellfunktionen zu identifizieren – sondern darin, das unklare Problem, dass „Materialagenten nicht modellieren können“, in eine Reihe messbarer, nachverfolgbarer atomarer Operationsfähigkeiten zu zerlegen. Von der grundlegenden Substitution von Elementen über die Bestimmung räumlicher Bereiche bis hin zum fortlaufenden geometrischen Verständnis werden Fehlerarten, -grade und Regeln für Umfangsgewinne schichtweise geklärt.

Dies verdeutlicht auch das Kernproblem, warum eine bloße Erhöhung der Parameterzahl kaum praktisch wirksam wird: Das gängige Scaling Law konzentriert sich auf die Anpassung von Sprache und Wissen an riesige Textkorpora. Doch für das räumliche Verständnis, die geometrische Planung und die handlungsorientierten Fähigkeiten mit physikalischen Einschränkungen – die für die atomare Materialmodellierung erforderlich sind – fehlen in öffentlichen Daten extrem hochwertige paarweise Trainingsbeispiele im Format „Operationsanweisung – Koordinatenänderung“. Diese Lücken lassen sich kaum durch eine bloße Erweiterung des Sprachumfangs natürlich schließen.

Um das Problem der schwachen dreidimensionalen Operationen großer Modelle zu beheben, nutzt die Branche üblicherweise professionelle Tool-Bibliotheken wie pymatgen. Vergleichstests mit AtomWorld zeigen, dass externe Tools nur die Ergebnisse von aufwändigen koordinatenbasierten Aufgaben wie dem Atomeinfügen verbessern. Bei komplexen Szenarien, die die Beziehung zwischen Atomen oder räumliche Bereiche bestimmen müssen, ist die Verbesserung sehr begrenzt.

Im Grunde können Tools zwar genaue Koordinaten ausgeben – aber sie können das Modell nicht bei zentralen Entscheidungen wie „Wo soll das Atom platziert werden?“ oder „Welche Atome gehören zum Zielbereich?“ ersetzen. Fehlt dem Modell selbst die dreidimensionale Raumwahrnehmung, führen Tools nur falsche Absichten präziser aus – am Ende entsteht ein Ergebnis mit „logischen Modellierungsfehlern“.

AtomWorld lehnt das Scaling Law nicht direkt ab – es erinnert wissenschaftliche Agenten daran, neu zu überdenken, „was skaliert werden soll“. Das „Language Scaling“ mit Textkorpora ist die Wissensgrundlage. Aber für handlungsintensive Aufgaben wie die Materialmodellierung ist das „Action Scaling“ – ausgerichtet auf Handlungsfähigkeiten – viel wichtiger: Der gesamte Zyklus „Handlung – Feedback – Fehlerkorrektur“ wird zu einem Objekt, das skalierbar erlernt werden kann.

Die wahre Bedeutung von AtomWorld liegt darin – durch automatisch generierte Aufgaben, Standardstrukturen und Abgleichsfeedback eine Grundlage für Handlungsdaten und Trainingszyklen in der Materialmodellierung zu schaffen. Es treibt „AI for Science“ dazu an, sich nicht mehr nur auf größere allgemeine Modelle zu konzentrieren, sondern echte Handlungsfähigkeiten bei überprüfbaren wissenschaftlichen Operationen zu entwickeln.

Schlussfolgerung

AtomWorld ist nicht nur ein standardisierter Bewertungsbenchmark – es wirkt wie ein Beobachtungsglas, das die zentralen Probleme der aktuellen „AI for Science“-Entwicklung direkt sichtbar macht: Dass große Modelle die Eigenschaften von Materialstrukturen erklären können, bedeutet nicht, dass sie diese Strukturen zuverlässig modifizieren können. Dass sie das Periodensystem der Elemente verstehen, bedeutet nicht, dass sie eine atomare Operation im dreidimensionalen Raum stabil ausführen können.

Dieses Problem ist nicht auf die Materialmodellierung beschränkt. Echte wissenschaftliche Forschung ist nie reine Textarbeit – sie besteht aus einer Reihe von Handlungen: Hypothesen aufstellen, Experimente entwerfen, Tools nutzen, Parameter anpassen, Ergebnisse beobachten, Fehler analysieren und kontinuierlich korrigieren. Ob bei der Materialmodellierung, dem Moleküldesign, automatisierten Experimenten oder umfassenderen wissenschaftlichen Entdeckungsprozessen: Wenn KI wirklich an der Forschung teilhaben will, darf sie nicht nur „Wissen erklären“ – sie muss lernen, „Handlungen auszuführen“.

Daher erinnert AtomWorld uns daran, den Anwendungsbereich des Scaling Law in wissenschaftlichen Szenarien neu zu verstehen: Das „Language Scaling“ auf Basis von Web-Textkorpora bleibt wichtig – aber es ist nur der Ausgangspunkt.

Zukünftig braucht „AI for Science“ mehr das „Action Scaling“ ausgerichtet auf Handlungsfähigkeiten – damit Modelle lernen, echte Forschungsaufgaben in ausführbaren Aufgaben, Tool-Nutzung, Umgebungsfeedback und physikalischer Überprüfung zu bewältigen.

Nur wenn Modelle gleichzeitig Wissensverständnis und Handlungsfähigkeit besitzen, können wissenschaftliche Agenten von „Enzyklopädien, die Fragen beantworten“ zu „Experimentierassistenten werden, die Aufgaben erledigen“.

Referenzen:

https://arxiv.org/abs/2510.04704

Dieser Artikel stammt aus dem WeChat-Offiziellen Konto „New Zhiyuan“, Autor: LRST – veröffentlicht mit Genehmigung von 36Kr.