Das US-amerikanische Argonne National Laboratory hat ChemGraph vorgestellt, 13 Benchmark-Tests dienen dazu, den Wert von Agenten im Bereich der Computerchemie zu bewerten.

Ein Forschungsteam des Argonne National Laboratory in den USA hat ein von großen Sprachmodellen angetriebenes Agentensystem namens ChemGraph vorgeschlagen, das darauf abzielt, molekulare Simulationsworkflows im Bereich der Computational Chemie auszuführen.

In den letzten Jahren hat die rasante Entwicklung der künstlichen Intelligenz, insbesondere die Fortschritte bei großen Sprachmodellen (LLMs), neue Möglichkeiten für die automatisierte wissenschaftliche Forschung eröffnet. Mittlerweile wurden mehrere auf LLMs basierende Agenten entwickelt, um Nutzer bei verschiedenen chemiebezogenen Aufgaben zu unterstützen – beispielsweise entwickelten Bran et al. ChemCrow, einen von großen Sprachmodellen angetriebenen Chemieagenten, der Aufgaben zur chemischen Synthese verschiedener Moleküle ausführen kann; McNaughton et al. entwickelten CACTUS, einen LLM-Agenten mit integrierten Chemoinformatik-Tools, der Forschern bei Aufgaben wie der Vorhersage von Moleküleigenschaften, Ähnlichkeitssuchen und der Bewertung der Arzneimittelähnlichkeit helfen kann; White und Kollegen schlugen MDCrow vor, einen LLM-Agentenassistenten, der Workflows zur Molekulardynamik (MD) ausführen kann.

Vor diesem Hintergrund hat das Forschungsteam des Argonne National Laboratory in den USA das von großen Sprachmodellen angetriebene Agentensystem ChemGraph vorgeschlagen, das darauf abzielt, molekulare Simulationsworkflows im Bereich der Computational Chemie auszuführen.

Die Forscher bewerteten ChemGraph in 13 Benchmark-Aufgaben. Die Ergebnisse zeigen, dass kleinere große Sprachmodelle wie GPT-4o-mini und Claude-3.5-haiku bei einfachen Aufgaben, die nur wenige Tool-Aufrufe erfordern, eine hohe Genauigkeit und Stabilität erreichen können. Mit steigender Aufgabenkomplexität sinkt die Leistung dieser Modelle jedoch deutlich, während große Modelle (GPT-4o) eine starke Leistung beibehalten. Durch die strategische Aufteilung komplexer Aufgaben in kleinere, besser handhabbare Teilaufgaben kann die Leistung von ChemGraph auch bei Verwendung kleinerer Modelle verbessert werden, sodass sie das Niveau von GPT-4o erreicht und in einigen Fällen sogar übertrifft.

Die entsprechenden Forschungsergebnisse wurden unter dem Titel „ChemGraph as an agentic framework for computational chemistry workflows“ in der Nature-Tochterzeitschrift Communications Chemistry veröffentlicht.

Forschungshöhepunkte:

* ChemGraph nutzt Grundmodelle auf Basis neuronaler Netze für Graphen, um genaue und effiziente Berechnungen durchzuführen, und kombiniert dies mit den Fähigkeiten von LLMs zum Verständnis natürlicher Sprache, zur Aufgabenplanung und zum wissenschaftlichen Schlussfolgern, um eine intuitive und interaktive Bedienoberfläche bereitzustellen

* ChemGraph kann eine Reihe von Aufgaben ausführen, von der Generierung von SMILES-Strings und Molekülstrukturen über geometrische Optimierung, Schwingungsanalyse bis hin zu thermochemischen Berechnungen

* ChemGraph unterstützt Nutzer bei der Verwendung verschiedener Methoden zur Molekularsimulation, einschließlich halbempirischer Methoden, maschineller Lernpotentiale und der Dichtefunktionaltheorie (DFT)

Link zur Arbeit: https://www.nature.com/articles/s42004-025-01776-9

13 Benchmark-Experimente zur Einrichtung eines Bewertungssystems für Computational-Chemie-Agenten

Obwohl derzeit einige Benchmark-Frameworks für Agenten existieren, gibt es im Bereich der Computational Chemie keinen einheitlichen Benchmark für die Bewertung von Agenten. Daher haben die Forscher 13 Benchmark-Experimente entworfen, um die Fähigkeiten von ChemGraph zu bewerten. Diese Experimente zielen darauf ab, die Fähigkeit von ChemGraph zu testen, Aufgaben mit sechs integrierten Tools auszuführen, einschließlich einzelner Tool-Aufrufe und verketteter Tool-Aufrufe.

Je nach Art der Nutzereingabe werden diese Aufgaben in drei Kategorien unterteilt: (1) Molekülname; (2) SMILES-String; (3) Chemische Reaktion. Die folgende Tabelle fasst die 360 unabhängigen Bewertungen zusammen, die in 13 Experimenten durchgeführt wurden.

*Zusammenfassungstabelle der Benchmark-Experimente zur Bewertung von ChemGraph*

In den ersten 11 Experimenten drehen sich die Aufgaben hauptsächlich um Molekülnamen oder SMILES-Strings, wobei jede Aufgabe maximal 4 Tool-Aufrufe oder 4 Teilaufgaben erfordert. Im Gegensatz dazu konzentrieren sich die letzten beiden Experimente auf die Berechnung thermochemischer Eigenschaften chemischer Reaktionen, deren Komplexität deutlich höher ist: Je nach Anzahl der Reaktanten und Produkte sind 9 bis 12 Tool-Aufrufe erforderlich. Diese Aufgaben erfordern die Ausführung thermochemischer Berechnungen für jede Substanz separat und die anschließende Erstellung von Eigenschaften auf Reaktionsbasis anhand der zuvor erhaltenen Ergebnisse.

ChemGraph: Ein von großen Sprachmodellen angetriebenes Agentenframework

ChemGraph ist ein von großen Sprachmodellen angetriebenes Agentenframework, das darauf abzielt, die Automatisierung von molekularen Simulationsworkflows durch strukturierte Tool-Aufrufe und Schlussfolgerungsfähigkeiten zu erreichen. Es basiert auf LangGraph und folgt dem ReAct-Framework.

LangGraph führt ein auf Graphenstrukturen basierendes Ausführungsmodell ein, das eine robustere Kooperation mehrerer Agenten ermöglichen soll. Ein typischer LangGraph-Workflow besteht aus drei Teilen:

• Zustand (State): Der Zustand ist eine gemeinsame Datenstruktur, die den aktuellen Zustand des Systems darstellt.
• Knoten (Nodes): Knoten sind Python-Funktionen, die die Logik des Agenten definieren, den aktuellen Zustand als Eingabe erhalten und den aktualisierten Zustand zurückgeben. Knoten können große Sprachmodelle oder Funktionen zur Ausführung spezifischer Operationen sein.
• Kanten (Edges): Kanten sind Funktionen, die den Fluss von Nachrichten steuern und bestimmen, welcher Knoten als Nächstes ausgeführt wird. Kanten können in gerichtete Kanten oder bedingte Kanten unterteilt werden: Gerichtete Kanten stellen einen festen einseitigen Übertragungsprozess von Nachrichten von einem Knoten zu einem anderen dar; im Gegensatz dazu bieten bedingte Kanten eine größere Flexibilität, sodass Nachrichten je nach bestimmten Bedingungen zu verschiedenen Knoten fließen können.

Die folgende Abbildung zeigt die allgemeine Struktur von ChemGraph: Zuerst erhält der große Sprachmodell-Agent eine Reihe vordefinierter Tools. Basierend auf der Eingabeaufforderung des Nutzers entscheidet der Agent, welches Tool aufgerufen werden soll. Nach jedem abgeschlossenen Tool-Aufruf erhält das große Sprachmodell das Ergebnis des Tool-Aufrufs und beurteilt, ob ein weiterer Tool-Aufruf erforderlich ist. Wenn alle Tool-Aufrufe abgeschlossen sind, kann die Nachricht einen von zwei Wegen fortsetzen.

*Überblick über ChemGraph*

Im ersten Weg verhält sich ChemGraph ähnlich wie ein traditionelles großes Sprachmodell und gibt eine in menschlicher Sprache verfasste Antwort zurück, die die durch die Tool-Aufrufe erzeugten Ergebnisse enthält. Im zweiten Modus wird die Nachricht an einen zweiten großen Sprachmodell-Agenten weitergeleitet, der dafür verantwortlich ist, strukturierte Ausgaben in einem vordefinierten JSON-Format zu generieren, um direkt auf die Nutzeranfrage zu antworten. Dieses Zwei-Modi-Design unterstützt gleichzeitig die Interaktion in natürlicher Sprache und die systematische Bewertung, sodass ChemGraph sowohl typische Nutzungsszenarien abdecken als auch für Bewertungsworkflows geeignet ist.

Die folgende Abbildung zeigt weiter, wie ChemGraph Tools aufruft und die Ausgaben der Tools koordiniert, um Aufgaben der Computational Chemie zu erledigen:

*Beispiel für die Interaktion zwischen Mensch und ChemGraph (Einzelagent) bei der Ausführung der react2enthalpy-Aufgabe mit GPT-4o-mini*

In diesem Beispiel bittet der Nutzer ChemGraph, die Reaktionsenthalpie der Verbrennungsreaktion von Methan bei 400 K mit der GFN2-xTB-Methode zu berechnen. ChemGraph (mit GPT-4o-mini) wandelt zuerst den chemischen Namen jedes Moleküls in der Reaktion in einen SMILES-String um (Tool-Aufrufe 1 bis 4). Anschließend generiert es auf Basis dieser SMILES-Strings Atomkoordinaten in der AtomsData-Datenstruktur (Tool-Aufrufe 5 bis 8). Schließlich führt ChemGraph mithilfe der generierten Atomkoordinaten und der vom Nutzer angegebenen Parameter (z. B. Rechnertyp, Temperatur usw.) die thermodynamische Berechnung durch.

Eine Multi-Agent-Architektur kann die Modellleistung erheblich verbessern

Durch Tests mit 13 Benchmark-Aufgaben bewertete das Forschungsteam die Leistung von ChemGraph bei Aufgaben der Computational Chemie unterschiedlicher Komplexität systematisch:

Bewertung des Einzelagenten

Zuerst bewerteten die Forscher die Leistung des Einzelagenten-ChemGraph in 13 experimentellen Aufgaben für drei große Sprachmodelle – GPT-4o-mini, Claude-3.5-haiku und Qwen-2.5-14B. Für GPT-4o wurde nur seine Leistung bei den letzten beiden Aufgaben (react2enthalpy und react2gibbs) bewertet. Die folgende Abbildung zeigt die Genauigkeit verschiedener Modelle bei verschiedenen Aufgaben:

*Heatmap der Genauigkeit des Einzelagenten-ChemGraph*

Bei der name2smi-Aufgabe ruft Claude-3.5-haiku das Tool molecule_name_to_smiles nicht konsistent auf, sondern versucht manuell, SMILES-Strings anhand seines internen chemischen Wissens zu erstellen oder die Verwendung des Tools abzulehnen. Dadurch weist Claude-3.5-haiku die niedrigste durchschnittliche Anzahl an Tool-Aufrufen pro Molekül in dieser Aufgabe unter den drei Modellen auf. GPT-4o-mini kann dieses Experiment genau abschließen und die richtige Antwort generieren. Qwen-2.5-14B kann normalerweise genaue Tool-Aufrufe mit korrekten Tool-Namen und Parametern generieren, seine Fehler treten jedoch hauptsächlich beim Extrahieren der Ergebnisse aus der Tool-Ausgabe auf.

Bei den Aufgaben name2xyz, name2opt und name2vib muss das große Sprachmodell nicht nur Tools genau aufrufen, sondern auch korrekte und strukturierte Ausgaberesultate generieren. Hierbei zeigen GPT-4o-mini und Claude-3.5-haiku eine gute Leistung mit einer Genauigkeit von über 83 %.

Bei den Aufgaben von smi2xyz bis smi2file behalten Claude-3.5-haiku und GPT-4o-mini eine starke und stabile Leistung bei, beide erreichen eine Genauigkeit von über 83 %. Die Leistung von Qwen-2.5-14B bei dieser Aufgabengruppe verbessert sich ebenfalls, wobei die niedrigste Genauigkeit 77 % erreicht.

Bei den Aufgaben react2enthalpy und react2gibbs zeigt Qwen-2.5-14B die schwächste Leistung mit einer Genauigkeit von unter 20 %. GPT-4o-mini erzielt mittlere Ergebnisse mit einer Genauigkeit von 40 % bzw. 49 %. Claude-3.5-haiku übertrifft die anderen kleinen großen Sprachmodelle mit einer Genauigkeit von 67 % bzw. 69 %. GPT-4o erreicht die höchste Leistung, wobei seine durchschnittliche Genauigkeit bei beiden Aufgaben über 83 % liegt.

Bewertung des Multi-Agenten

Die Forscher bewerteten weiter die Leistung des Multi-Agenten-ChemGraph mit GPT-4o-mini, Claude-3.5-haiku, Qwen-2.5-14B und GPT-4o (siehe folgende Abbildung) und verglichen die Ergebnisse mit der Leistung des Einzelagenten.

*Durchschnittliche Genauigkeit von Multi-Agent- und Einzelagent-ChemGraph bei den Aufgaben react2enthalpy und react2gibbs bei Verwendung verschiedener großer Sprachmodelle*

Die Ergebnisse zeigen, dass das Multi-Agent-System die Genauigkeit verschiedener Modelle erheblich verbessert. Bei der Aufgabe react2enthalpy steigt die Genauigkeit von GPT-4o-mini von 40 % auf 87 %, die von Claude-3.5-haiku von 67 % auf 87 %. Beide Ergebnisse stellen den Durchschnitt von drei unabhängigen Durchläufen dar. Bemerkenswert ist, dass beide Modelle den Benchmark von 83 % des Einzelagenten GPT-4o übertreffen. Bei der letzten Aufgabe react2gibbs ist ein ähnlicher Trend zu beobachten: Die Genauigkeit von GPT-4o-mini steigt von 49 % auf 87 %, die von Claude-3.5-haiku von 69 % auf 93 %. Im Gegensatz dazu erzielt Qwen-2.5-14B nur eine begrenzte Verbesserung, was hauptsächlich auf seine häufigen Fehler bei Tool-Aufrufen zurückzuführen ist, die die Fähigkeit des aggregierten Agenten einschränken, genaue Antwort