Die Forschung und Entwicklung neuer Materialien beschleunigt. Ein Team der Shanghai Jiao Tong University hat ein neues KI-basiertes Materialdesignmodell namens CGformer entwickelt, das einen globalen Attention-Mechanismus integriert.

Das Team von Professoren Li Jinjin und Huang Fuqiang aus dem Labor für Künstliche Intelligenz und Mikrostrukturen der Shanghai Jiao Tong Universität hat ein neues KI-Modell für die Materialgestaltung namens CGformer entwickelt und damit erfolgreich die Grenzen traditioneller Kristallgraph-Neuralnetzwerke überwunden.

Die Künstliche Intelligenz verändert tiefgreifend die Forschungs- und Entwicklungsparadigmen der Materialwissenschaft und zeigt in der Beschleunigung der Entdeckung neuer Materialien und der Optimierung ihrer Eigenschaften bahnbrechenden Wert. Durch die tiefe Integration von Hochdurchsatzrechnungen und maschinellem Lernen werden die Probleme des traditionellen "Trial-and-Error"-Verfahrens, wie lange Experimentzyklen und hoher Ressourcenverbrauch, effektiv gelöst. Die Materialforschung hat nun die effiziente Iterationsphase des "Rechengetriebenen - Experimentellen Nachweises" erreicht. Mit der Weiterentwicklung der menschlichen Technologie und Lebensweise werden jedoch die Anforderungen an die Eigenschaften neuer Materialien in Bereichen wie der neuen Energie und der Luft- und Raumfahrt immer strenger. Die Grenzen traditioneller maschineller Lernmethoden werden zunehmend deutlich, insbesondere im Bereich der Forschung und Entwicklung von Hochentropiematerialien.

Unter "Hochentropie"-Materialien versteht man eine neue Art von Materialien, die aus einer Mischung mehrerer Hauptkomponentenelemente hergestellt werden. Hochentropiematerialien erhöhen durch die synergetische Wirkung der Mehrkomponenten die Konfigurationsentropie (d. h. die Unordnung) der Atomanordnung erheblich, wodurch sie im Vergleich zu traditionellen Materialien bessere mechanische, hitzebeständige, korrosionsbeständige und andere Gesamtleistungseigenschaften aufweisen und in Bereichen wie der Energiespeicherung, der Luft- und Raumfahrt und der Ausrüstung für extreme Umgebungen großes Anwendungspotenzial haben.

Bisherige Methoden wie die Künstlichen Intelligenzmodelle Crystal graph convolutional neural networks (CGCNN) und Atomistic line graph neural network (ALIGNN) weisen alle strukturelle Mängel auf: Da sie auf einem lokalen Informationsaustauschmechanismus basieren, ist es ihnen schwierig, die synergetischen Effekte von Atomen über größere Entfernungen zu modellieren und die globalen Informationen, die für komplexe Kristallstrukturen charakteristisch sind, vollständig zu erfassen. Dies führt zu einer begrenzten Vorhersagegenauigkeit. Gleichzeitig stellen die inhärenten Eigenschaften von Hochentropiematerialien auch größere Herausforderungen für ihre Forschung und Entwicklung dar als traditionelle Materialien - die komplexe Mikrostruktur, die knappen hochwertigen experimentellen Daten und das dynamisch ungeordnete Verhalten der Atome bilden gemeinsam die Schlüsselhürden auf dem Weg der Forschung und Entwicklung von Hochentropiematerialien.

Angesichts der Mängel der Werkzeuge und der gestiegenen Anforderungen hat das Team von Professoren Li Jinjin und Huang Fuqiang aus dem Labor für Künstliche Intelligenz und Mikrostrukturen (AIMS-Lab) der Shanghai Jiao Tong Universität ein neues KI-Modell für die Materialgestaltung namens CGformer entwickelt und damit erfolgreich die Grenzen traditioneller Modelle überwunden. Das Modell integriert auf innovative Weise den globalen Attention-Mechanismus von Graphormer mit CGCNN und umfasst Zentralitätskodierung und Raumkodierung. Dadurch kann es sowohl die Materialstruktur anhand von Kristallgraphen anschaulich beschreiben als auch die Wechselwirkungen zwischen Atomen über größere Entfernungen mithilfe des "globalen Attention"-Mechanismus erfassen, wodurch es über die Fähigkeit zur Verarbeitung globaler Informationen verfügt, die traditionelle Modelle, die sich nur auf benachbarte Atome konzentrieren, nicht haben.

Diese Methode liefert umfassendere Strukturinformationen, hilft, das Ionenmigrationsverhalten innerhalb der Struktur genauer vorherzusagen und bietet ein zuverlässiges Werkzeug für die Forschung und Entwicklung neuer Materialien, insbesondere von Hochentropie- und komplexen Kristallmaterialien. Die Forschungsergebnisse wurden unter dem Titel "CGformer: Transformer-enhanced crystal graph network with global attention for material property prediction" in der angesehensten Zeitschrift Matter veröffentlicht.

Highlights der Forschung:

* Die Forschung hat ein KI-Modell für die Materialgestaltung namens CGformer basierend auf einem globalen Attention-Mechanismus entwickelt, das ein zuverlässiges und leistungsstarkes Werkzeug für die Materialforschung und -entwicklung bietet und die Entdeckung komplexer Kristallstrukturen beschleunigen kann.

* Im Vergleich zu CGCNN hat CGformer in der Forschung von Hochentropie-Natriumionen-Festelektrolyten (HE-NSEs) den mittleren absoluten Fehler um 25 % reduziert, was seine Praktikabilität und Fortschrittlichkeit effektiv bestätigt.

* Aus 148.995 möglichen Hochentropiestrukturen wurden 18 ausgewählt, und 6 Hochentropie-Natriumionen-Festelektrolyten (HE-NSEs) wurden erfolgreich synthetisiert und validiert. Die Natriumionenleitfähigkeit bei Raumtemperatur beträgt bis zu 0,256 mS/cm, was seinen praktischen Anwendungswert zeigt.

Link zur Publikation: https://www.cell.com/matter/abstract/S2590-2385(25)00423-0

Mehrere Datensätze verbessern die Fähigkeiten des CGformer-Modells

Das Ziel dieser Studie ist es, die Herausforderungen, die durch die knappen Daten und die strukturelle Komplexität in Hochentropiesystemen entstehen, mithilfe von fallbasierten Lösungen zu lösen. Die Fallstudie konzentriert sich auf die Anwendungen in der neuen Energie für Elektromobile und der Netzenergiespeicherung und richtet sich gezielt auf die Vorhersage und Selektion der Eigenschaften von Hochentropie-Natriumionen-Festelektrolyten. Mehrere Datensätze wurden erstellt und verwendet, um das Training, die Feinabstimmung und den experimentellen Nachweis des CGformer-Modells zu unterstützen, wie folgt:

Grunddatensatz für die Natriumionendiffusionsbarriere (Eb): Dies ist der bisher größte bekannte Datensatz für die Natriumionendiffusionsbarriere in Hochentropiestrukturen, der von den Forschern für diese Studie erstellt wurde. Er basiert auf der Kristallstrukturanalyse (CAVD) mittels Voronoi-Zerlegung und der Bond Valence Site Energy (BVSE)-Methode. Dieser Datensatz wird hauptsächlich für das Pretraining von CGformer verwendet, damit das Modell die Grapheninformationen in Natrium-haltigen Strukturen lernt und diese dann auf den berechneten Hochentropiedatensatz übertragen kann, um die Grundlage für die spätere Vorhersage der Eb von Hochentropiematerialien zu legen.

Arbeitsablauf der Selektion mit CGformer

Berechneter Datensatz für HE-NSEs: Basierend auf Na₃Zr₂Si₂PO₁₂ (wie in der obigen Abbildung gezeigt) wurden 45 potenzielle Hochentropiedotierungselemente an der Zr-Stelle berücksichtigt, um zunächst einen anfänglichen chemischen Raum mit 148.995 möglichen Hochentropiestrukturen zu bilden. Anschließend wurde der chemische Raum durch mehrfache Selektionsschritte, einschließlich der Ausschließung ungeeigneter Elemente (radioaktive, hochtoxische und teure Elemente), der Beschränkung der Atomradiusdifferenz und der Ladungsbalance, auf 826 relativ stabile Strukturen reduziert. Dann wurden diese durch unüberwachtes hierarchisches Clustering in 20 Gruppen aufgeteilt, und aus jeder Gruppe wurden 30 % der Strukturen (insgesamt 238) stratifiziert ausgewählt. Die Eb-Werte wurden durch Dichtefunktionaltheorie (DFT)-Rechnungen berechnet, um schließlich einen speziellen Datensatz für die Feinabstimmung von CGformer zu bilden, damit das Modell speziell für die Vorhersage der Natriumionen-Eb in der Hochentropie-NASICON-Struktur optimiert wird und die Genauigkeit des Modells in der Zielanwendung verbessert wird.

Datensatz zur Bewertung der thermischen Stabilität: Die Forscher haben alle Natrium-haltigen Strukturen aus der Materials Project-Datenbank extrahiert, deren Energie höher als der Wert der konvexen Hülle (Ehull) ist, und daraus einen speziellen Trainingssatz zusammengestellt. Dieser Datensatz wird hauptsächlich zum Training eines zusätzlichen Modells zur Bewertung der thermodynamischen Stabilität von HE-NSEs verwendet. In Kombination mit der von CGformer vorhergesagten Eb wird er zur Selektion von Kandidatenmaterialien mit "Eigenschaften + Stabilität" eingesetzt.

Die innovative Fusion von Architekturen ermöglicht die "globale Wahrnehmung" von CGformer

CGformer hat eine grundlegende Innovation vorgenommen, um die Mängel traditioneller Methoden zu beheben. Es kombiniert zwei fortschrittliche Technologien organisch, um ihre Stärken zu nutzen und ihre Schwächen auszugleichen. Der Kern von CGformer ist, dass es sowohl die Fähigkeit zur graphischen Darstellung von Kristallstrukturen behält als auch die Beschränkung des Fokus auf die lokale Atomwechselwirkung durch einen globalen Attention-Mechanismus aufhebt. Genauer gesagt kombiniert es den globalen Attention-Mechanismus von Graphormer mit der Kristallgraphdarstellungsmethode von CGCNN und fügt gleichzeitig wichtige Codierungsmodule hinzu, um einen neuen Informationsverarbeitungsprozess zu erstellen.

Die Abbildung a unten zeigt den Prozess der Kristallgraphkodierung. Dieser Prozess dient dazu, die reale dreidimensionale Kristallstruktur in einen Kristallgraphen umzuwandeln, den das Modell verarbeiten kann. Die Atome in der Kristallstruktur werden als Knoten und die chemischen Bindungen zwischen den Atomen als Kanten dargestellt. Durch diesen Umwandlungsprozess können die Forscher die Knoten- und Kantenmerkmale extrahieren, wie verschiedene Elementeigenschaften, Ladungen, kovalente Radien, Atomabstände, Bindungstypen und Kristallsymmetrieinformationen. Diese Merkmale werden dann kombiniert, um die erforderlichen Eingangsdaten für CGformer zu erhalten, wodurch die chemischen und strukturellen Informationen des Kristalls vollständig erhalten bleiben.

Schematischer Ablauf der Kodierung von Kristallen in Kristallgraphen

Die Abbildung b unten zeigt die Netzwerkarchitektur von CGformer. Durch die Zusammenarbeit mehrerer Module wird die Integration globaler Informationen und die genaue Vorhersage ermöglicht. Zunächst wird der eingegebene Kristallgraph durch eine Runde von Graphenkonvolutionen verarbeitet, um eine vereinfachte Graphenstruktur zu erzeugen, die die Rechenlast der nachfolgenden Netzwerkebenen reduziert und den Trainingsvorgang von CGformer beschleunigt. Dann berechnen die Forscher die Zentralitätskodierung und aktualisieren die Knotenmerkmale des Kristallgraphen. Die Zentralitätskodierung umfasst die Ein- und Ausgrade jedes Knotens und wird dann in die ursprünglichen Knotenmerkmale integriert. Anschließend repräsentiert jeder Knoten die Positionsbeziehung zwischen den Knoten mithilfe eines Multi-Head Attention-Moduls in Kombination mit variablen Merkmalen und Raumkodierung. Die Zentralitätskodierung wandelt die durchschnittlichen Merkmale benachbarter Knoten in die Summenform um, und die Raumkodierung ermöglicht es dem Self-Attention-Mechanismus, benachbarte Knoten zu unterscheiden, fördert die effektive Nachrichtenaggregation und verstärkt die Informationsverbindung zwischen verschiedenen Atomen. Schließlich wird der Ausgabevektor durch die "Pooling" (Integration globaler Merkmale) und "Aktivierungs" (Funktionsberechnung) Prozesse verarbeitet, um die endgültige Vorhersage der Materialeigenschaften abzuschließen.

Die Netzwerkarchitektur von CGformer

Es ist erwähnenswert, dass das Multi-Head Attention-Modul es jedem Knoten ermöglicht, alle anderen Knoten im Kristallgraphen "zu beachten", nicht nur die benachbarten Knoten, und somit die Wechselwirkungen zwischen Atomen über größere Entfernungen zu erfassen. Gleichzeitig ermöglichen die Zentralitäts- und Raumkodierung dem Modell nicht nur, die chemischen Eigenschaften der Atome zu erkennen, sondern auch ihre "Positionswichtigkeit" und "räumliche Beziehung" in der Struktur wahrzunehmen, was die Genauigkeit der Darstellung komplexer Kristalle durch das Modell verbessert.

Zusammenfassend lässt sich sagen, dass CGformer im Vergleich zu traditionellen Kristallnetzwerken einen qualitativen Sprung darstellt und drei Vorteile bietet: globales Sichtfeld, verbesserte Informationen und ein ausgewogener Effizienzgrad. Es ist ein vertrauenswürdiges und zuverlässiges Werkzeug für die Entdeckung und die Optimierung der Eigenschaften von komplexen Hochentropiematerialien.

CGformer zeigt starke Leistung und hat praktische Leitwert

Um die Leistung und Fortschrittlichkeit des CGformer-Modells genau zu bewerten, haben die Forscher es mit traditionellen Modellen wie CGCNN, ALIGNN und SchNet verglichen. Die Experimente haben die Vorhersagegenauigkeit von CGformer in zwei Phasen, vom "Pretraining" bis zur "Feinabstimmung", validiert.

In der Pretraining-Phase (wie in der Abbildung unten gezeigt) hat CGformer eine bessere Stabilität und Vorhersagegenauigkeit gezeigt. Der anfängliche Fehler und die Schwankungen von CGformer waren deutlich geringer als die von CGCNN. Die 10-fache Kreuzvalidierung (10-fold CV) hat gezeigt, dass der mittlere absolute Fehler (MAE) des Trainingssatzes 0,1703 beträgt, was eine Verbesserung von 25,7 % im Vergleich zu CGCNN darstellt. Der mittlere MAE des Testsatzes beträgt 0,3205, was eine Verbesserung von fast 10 % im Vergleich zu CGCNN ist. Der Vergleich mit ALIGNN und SchNet hat die ausgezeichnete Leistung von CGformer weiter hervorgehoben.