1300 Karten fordern 100.000 Karten heraus: Der ehemalige Vizepräsident von OpenAI schreitet zur Tat und besiegt GPT-6 Astra anhand eines hochkomplexen harten Problems.

Mit nur 1300 H200-Grafikkarten hat es in einem anspruchsvollen wissenschaftlichen Benchmark GPT-6 Astra übertroffen.

Kürzlich hat Liam Fedus, ehemaliger Vizepräsident für Forschung bei OpenAI, einen Beitrag auf X veröffentlicht und das erste Modell von Periodic Labs vorgestellt: Periodic Neon.

Der auffälligste Satz des Beitrags lautet:

Mit nur 1300 H200-Grafikkarten und mehreren Monaten experimentellen Daten hat Neon auf dem hauseigenen Analyse-Benchmark GPT-6 Astra übertroffen.

Aufnahme aus dem Hochfeld-Materiallabor von Periodic in Menlo Park: Ein Roboterarm arbeitet über einer Probe.

Auf den Reihen von Probenträgern im oberen Bild liegen neu synthetisierte Kandidatenmaterialien, die in ein Röntgendiffraktometer geschickt werden, um ihren „Fingerabdruck“ aufzuzeichnen und anschließend zu Spektren verarbeitet zu werden, die Neon auswerten soll.

Das Labor arbeitet rund um die Uhr an Synthese, Messung und Datenzufuhr.

Laut Fedus wollen sie sich zuerst den schwierigsten Herausforderungen bei Supraleitern, Magneten und Halbleitermaterialien widmen.

Warum beschäftigt sich ein Experte für große KI-Modelle mit der Materialforschung?

Fedus gehörte zu den Kernentwicklern von ChatGPT, war bei OpenAI für das Nachtraining zuständig und weiß genau, wovon Modelle an Leistung gewinnen.

Als er letztes Jahr Periodic gründete, äußerte er klar:

Die gesamte Textmenge im Internet umfasst etwa 10 Billionen Token, und die besten fortschrittlichen Modelle haben diese bereits vollständig verarbeitet. Damit die KI weiter vorankommt, braucht sie neue Daten, die im Internet nicht verfügbar sind.

Wo findet man diese Daten? Im Labor.

Also holte er Ekin Dogus Cubuk, ehemaligen Leiter der Chemie- und Physikforschung bei Google DeepMind, an seine Seite. Seit dem ersten Tag bauen sie eigene Labore und generieren selbst Daten – mit dem einzigen Ziel, einen KI-Wissenschaftler zu entwickeln.

Ein Jahr später liegt das erste Ergebnis vor.

Neon hat etwa 1 Billion Parameter und erreicht bei einer anspruchsvollen Analyseprüfung für Röntgenbeugung (XRD) eine Erfolgsquote von 55,3 % und übertrifft damit GPT-6 Astra sowie Claude Fable 5.1 deutlich.

Was die Parameter angeht: Laut Branchengerüchten hat Astra insgesamt mehrere Billionen Parameter, während Neon nur 1 Billion aufweist;

Was die Rechenleistung angeht: Nach öffentlichen Angaben von Jensen Huang steht hinter Astra ein Verbund von über 100.000 Grace-Blackwell-Grafikkarten, während der Spitzenwert für das abschließende Training von Neon nur 1300 H200-Grafikkarten beträgt.

Dieser Kontrast hat in der Fachwelt schnell für Aufsehen gesorgt.

Jeff Dean hat sofort unter Fedus' Beitrag gratuliert.

Hinter der Zahl von 1300 gegenüber 100.000 verbirgt sich ein neuer Weg, um KI weiter leistungsfähiger zu machen.

Eine Prüfung, die die Erfolgsquote von 2,7 % auf 55,3 % steigert

Das von Neon gelöste Problem heißt Röntgenbeugungsanalyse (kurz XRD).

Was ist Röntgenbeugung?

Als Beispiel: Wenn ein Röntgenstrahl in einen Kristall eindringt, entstehen Beugungsspitzen in mehreren festen Winkeln. Bei unterschiedlichen Materialien liegen die Spitzen an unterschiedlichen Stellen, genau wie ein Fingerabdruck.

Um zu überprüfen, ob das synthetisierte Produkt ein Supraleiter, ein magnetisches Material oder ein Halbleiter ist, muss zuerst geprüft werden, ob dieser „Fingerabdruck“ übereinstimmt.

Das Röntgendiffraktometer im Periodic Lab. Die XRD-Daten, mit denen Neon lernt, werden von Geräten dieses Typs erzeugt.

Das Problem ist, dass die im Labor synthetisierten Proben oft sehr unrein sind und mehrere Substanzen überlappen – so als wären die Fingerabdrücke von Hunderten Personen durcheinander auf demselben Blatt Papier abgedruckt.

Um festzustellen, was sich in der Probe befindet, müssen Materialwissenschaftler normalerweise Software öffnen, Datenbanken durchsuchen und mit Fachartikeln vergleichen, was sehr viel Zeit in Anspruch nimmt.

Periodic hat 134 solcher schwierigen Aufgaben ausgewählt, die selbst Experten vor Herausforderungen stellen, und daraus den Benchmark-Test FrontierXRD zusammengestellt.

Die 55,3 % von Neon sind das Ergebnis bei diesen 134 Aufgaben.

Alle Modelle verwenden die von Periodic selbst aufgebaute wissenschaftliche Werkzeugumgebung Periodic Harness.

Im Vergleich zu einer Lösung auf Basis von Claude Code mit standardmäßigen XRD-Werkzeugen erreicht Periodic Harness bei vergleichbaren Kosten pro Aufgabe eine 3,8-fach höhere Erfolgsquote.

Für die KI-Forschung gilt: Die eine Hälfte hängt von der Intelligenz des Modells ab, die andere Hälfte von den verfügbaren Werkzeugen.

Um zu verhindern, dass das Modell „die Antworten auswendig lernt“, hat das Team weitere 198 Aufgaben vorbereitet, deren chemische Systeme absichtlich aus den Trainingsdaten ausgeschlossen wurden. Auch hier liegt Neon vor allen anderen fortschrittlichen Modellen.

Allerdings räumt das Unternehmen ein, dass dieser Aufgabensatz einfacher ist als FrontierXRD.

Auch bei den Kosten ist Neon wirtschaftlicher.

In der höchsten Konfiguration erreicht Neon eine Erfolgsquote von 55,3 % bei Kosten von etwa 4 US-Dollar pro Aufgabe. GPT-6 Astra kostet etwa 7 US-Dollar pro Aufgabe und erreicht trotzdem ein schlechteres Ergebnis als Neon. Claude Fable 5.1 hat ähnliche Kosten wie Astra, aber eine Erfolgsquote von nur etwa 40 %.

Das Internet wird bald von KI vollständig verarbeitet – sie wollen einen nie versiegenden „Datenbrunnen“ bauen

Abgesehen von den Testergebnissen will Periodic vor allem zeigen, dass es in Menlo Park ein Hochdurchsatz-Materiallabor aufgebaut hat.

Aufnahme aus dem Periodic Lab: Ein Roboterarm legt eine Probe in ein Gerät.

Von den ersten Experimenten bis zum heutigen 24-Stunden-Betrieb hat Periodic die Materialforschung in einen Zyklus unterteilt:

Zuerst wird basierend auf Vorhersagen zur Stabilität und Eigenschaften von Materialien entschieden, welches Material erforscht werden soll;

Dann wird vorhergesagt, wie es synthetisiert werden kann;

Schließlich wird ermittelt, was tatsächlich hergestellt wurde und ob die Eigenschaften den Erwartungen entsprechen. Nach Erhalt der Ergebnisse wird die Hypothese korrigiert und der Zyklus läuft erneut.

Der Materialforschungszyklus von Periodic: Was man herstellen will, wie man es herstellt und was tatsächlich entstanden ist – drei Schritte, die ineinandergreifen.

Mit jedem Durchlauf erzeugt das Labor eine Menge neuer, privater Daten mit physikalischem Feedback. Diese Daten sind das Ausgangsmaterial für Neon.

Der Zwischentrainingskorpus von Periodic mischt wissenschaftliche Literatur, Code und Experimentaldaten und verdoppelt derzeit seinen Umfang jeden Monat.

Sie haben außerdem festgestellt, dass das nachfolgende Reinforcement-Learning besser funktioniert, wenn dem Modell zuerst im Zwischentraining wissenschaftliches Wissen vermittelt wird.

Und während die Experimente laufen, müssen die GPUs nicht leer warten: Das Modell kann mit vorhandenen Experimentaldaten weiter analysieren und seine Vorhersagen verbessern.

Der Titel des Forschungsblogs von Periodic lautet „Die Natur ist unsere Lernumgebung“.

Damit zielt das Unternehmen auf ein zentrales Problem der KI-Branche ab:

In den vergangenen Jahren wurde das Scaling von Modellen vor allem durch die wachsende Menge an Internetdaten vorangetrieben. Aber die Texte im Internet sind bereits fast vollständig von den fortschrittlichsten Modellen verarbeitet worden.

In Zukunft wird derjenige, der über eine Umgebung verfügt, die ständig neue Daten erzeugt, einen weiteren Weg für fortgesetztes Scaling haben.

Das Internet ist eine Datenmine, die sich mit jeder Nutzung erschöpft – das Labor ist ein Brunnen, der ununterbrochen neues Wasser liefert.

Die Natur gibt keine Standardantworten – Periodic hat einen KI-Schiedsrichter eingesetzt

Die Übertragung von Reinforcement Learning in die physische Welt ist eine völlig andere Herausforderung.

Beim Reinforcement Learning in der digitalen Welt haben Agenten fast den gesamten Code geschrieben und ungelöste mathematische Vermutungen bewiesen. Das Geheimnis liegt in der Nutzung einer großen Anzahl von Agenten, die schnell Aufgaben bearbeiten und automatisch bewertet werden.

In der physischen Welt stoßen alle drei Punkte an Grenzen:

Man kann nicht beliebig viele Agenten hinzufügen – jedes zusätzliche Experiment erfordert zusätzlichen Strom, Geräte und Ingenieuraufwand. Ein einzelnes Experiment kann mehrere Tage dauern, und die Ergebnisse sind oft mehrdeutig.

Das letzte Problem ist das schwerwiegendste. Periodic schreibt in seinem Forschungsblog treffend: Wissenschaft kann widerlegt, aber nicht einfach bestätigt werden.

Anhand eines XRD-Spektrums lässt sich nicht kostengünstig feststellen, ob die Analyse erfolgreich war, nur indem überprüft wird, ob die Kurve passt. Es braucht einen Experten, um zu beurteilen, ob jede Phase durch das Spektrum gestützt wird und chemisch plausibel ist.

Die Lösung von Periodic besteht darin, die Urteile von Experten zu einem Schiedsrichter zu „destillieren“.

Sie haben Materialexperten gebeten, Tausende von XRD-Spektren zu kennzeichnen, und mit diesen Kennzeichnungen ein LLM-Schiedsrichterteam aus Opus 5 und GPT-5.6 Sol kalibriert. Drei Zahlen sprechen für sich:

Die Übereinstimmungsrate zwischen verschiedenen Experten liegt bei 77,2 %;

Die Übereinstimmungsrate zwischen dem LLM-Schiedsrichter und einem einzelnen Experten liegt bei 74,6 %;

Die Übereinstimmungsrate zwischen dem LLM-Schiedsrichter und dem Konsens der Experten liegt bei 84 %.

Das bedeutet: Die Zuverlässigkeit dieses KI-Schiedsrichters erreicht bereits das Niveau der Übereinstimmung zwischen menschlichen Experten.

Dass aus „unklaren“ Ergebnissen trainierbare Belohnungen werden können, ist eine der Kerntechnologien von Neon.

1300 gegenüber 100.000 – wie werden diese Grafikkarten so effizient genutzt?

Die 1300 H200-Grafikkarten sind der Spitzenwert, der gleichzeitig für das Zwischentraining und das Reinforcement Learning während des abschließenden Trainings von Neon verwendet wurde.

Die über 100.000 Blackwell-Grafikkarten von Astra entsprechen dem großangelegten Training eines fortschrittlichen allgemeinen Modells.

Das Verhältnis von 1300 zu 100.000 lässt sich nicht direkt als Effizienzfaktor umrechnen, aber es zeigt zumindest, dass Periodic diese 1300 Karten maximal ausgenutzt hat.

Beim Reinforcement Learning für wissenschaftliche Aufgaben gibt es eine Besonderheit: Ein Modell braucht oft mehr als eine Stunde, um eine Aufgabe zu bearbeiten, dabei Informationen nachzuschlagen und Werkzeuge auszuführen. Aber das Ergebnis dieser Aufgabe für die Aktualisierung des Modells zu nutzen, dauert nur wenige Minuten.

Die Lösung von Periodic besteht darin, die Aufgabenbearbeitung und das Lernen voneinander zu trennen, sodass jede ihre eigenen GPUs nutzt und nicht auf die andere warten muss.

Dazu gibt es eine echte Geschichte über einen Fehlschlag.

I