Die Schöpfer von ChatGPT arbeiten zusammen mit den Experten von DeepMind, um mit KI die Hochtemperatursupraleitung anzugehen. Die Hälfte von Silicon Valley ist beeifert, zu investieren.
Liam Fedus, der ehemalige Vizepräsident für Forschung bei OpenAI, und Ekin Cubuk, ein führender Experte für Materialwissenschaft bei DeepMind, haben Periodic Labs gegründet. Das Startup hat sich mit einer sensationellen Samenfinanzierung von 300 Millionen US - Dollar aus dem Stealth - Modus hervorgetan und das Silicon Valley schockiert. Interessanterweise hat OpenAI, das einst seine Glückwünsche aussprach, an dieser Finanzierungsrunde nicht teilgenommen.
Der ehemalige Vizepräsident für Forschung bei OpenAI, der maßgeblich an der Entwicklung von ChatGPT beteiligt war, und der Leiter der Materialwissenschaft - und Chemieforschung bei Google DeepMind haben sich zusammengeschlossen, um ein eigenes Unternehmen zu gründen!
Ihre neue Firma, Periodic Labs, hat bereits bei ihrer Premiere eine Samenfinanzierung in Höhe von 300 Millionen US - Dollar erhalten. Die Investorenliste ist beeindruckend: a16z führt die Runde an, gefolgt von DST, Nvidia NVentures, Accel, Felicis und anderen. Darüber hinaus haben Tech - Giganten wie Jeff Bezos, Eric Schmidt und Jeff Dean ebenfalls investiert.
Eine solche beeindruckende Finanzierungsmenge und eine derart prominente Investorenliste sind bei Startups extrem selten und haben die Branche in Aufruhr versetzt.
Was will diese Firma eigentlich erreichen? Warum zieht sie so viel Aufmerksamkeit auf sich?
Aus Spitzenforschungslaboren in die Unternehmensgründung, um „echte Wissenschaft“ zu betreiben
Einer der beiden Mitbegründer ist William Liam Fedus, der ehemalige Vizepräsident für Forschung bei OpenAI und Mitglied des Kernteams. Er war an der Schaffung des bahnbrechenden ChatGPT beteiligt.
Der andere ist Ekin Dogus Cubuk (Spitzname „Doge“), der die Materialwissenschaft - und Chemieforschung bei Google DeepMind leitete.
Er war auch einer der Leiter des aufsehenerregenden GNoME - Projekts, das im Jahr 2023 mit Hilfe von KI über 2 Millionen neue Kristallmaterialien entdeckte.
Normalerweise hätten sie in ihren jeweiligen Bereichen bereits Spitzenpositionen erreicht und ein glänzendes Zukunftsprofil.
William Liam Fedus
Als Leiter der Nach - Training - Abteilung bei OpenAI hat Liam Fedus hauptsächlich an der Forschung und Entwicklung der zugrunde liegenden Modelle für ChatGPT, die API und KI - Agenten gearbeitet.
Zuvor arbeitete er bei Google Brain und konzentrierte sich auf die Optimierung der Effizienz von neuronalen Netzen mithilfe von MoE - Technologie.
Im Jahr 2022 trat er offiziell bei OpenAI ein. Anfangs war er als Kernentwickler im Team für Reinforcement Learning tätig und war einer der Mitschöpfer von ChatGPT, hauptsächlich für die Datenverarbeitung und die Modellbewertung verantwortlich.
In dieser Zeit leitete er die Nach - Training - Entwicklung mehrerer wichtiger Modelle (einschließlich 4o, o1 - mini, o1 - preview usw.).
Im Oktober 2024 übernahm Fedus die Position von Barret Zoph und wurde Leiter des Nach - Training - Teams.
Damals verliessen auch der Chief Technology Officer Mira Murati und der Chief Research Officer Bob McGrew das Unternehmen.
Fedus hat einen Bachelor - Abschluss in Physik von MIT (währenddessen er an einem Projekt für einen gerichteten Dunklematerie - Detektor namens DMTPC beteiligt war) und einen Bachelor - Abschluss in Physik von der Universität von Cambridge.
Im Jahr 2016 erhielt er einen Master - Abschluss in Elementarteilchenphysik von der Universität von Kalifornien, San Diego, unter der Leitung von David Meyer und Gary Cottrell.
Anschließend promovierte er in Informatik an der Universität von Montreal bei Yoshua Bengio und Hugo Larochelle.
Ekin Dogus Cubuk
Der andere Mitbegründer, Ekin Dogus Cubuk, war zuvor ein Forschungsingenieur bei Google DeepMind.
Er trat 2017 bei Google Brain ein, beteiligte sich am Flaggschiffsprojekt GNoME im Bereich der Materialwissenschafts - Entdeckung und baute mehrere automatisierte Synthese - Experimentierplattformen für das Unternehmen auf, mit dem Fokus auf der Suche nach neuen Materialien mit Hilfe von KI.
Er ist Doktor in Kondensierter Materie - und Materialphysik sowie Computermodellierung von Harvard University.
Im März dieses Jahres kündigte Fedus von OpenAI und Cubuk von DeepMind und wandte sich der Unternehmensgründung zu.
Der Anstoß: Gemeinsames Reifen - Wenden bei Google
Der erste Kontakt zwischen den beiden gründete sich in Google. Ein lustiges Ereignis beim gemeinsamen Reifen - Wenden war der Anlass, wie sie sich kannten - aber was sie wirklich zusammenbrachte, war das klare Bewusstsein über die Grenzen des gegenwärtigen KI - Forschungsansatzes und der gemeinsame Wunsch, ein KI - Wissenschaftler zu werden.
Derzeit hängt das Training von KI hauptsächlich von Internet - Texten ab. Obwohl das Internet scheinbar unendlich ist, ist es in Wirklichkeit begrenzt.
Schätzungen zufolge gibt es etwa 10 Billionen Tokens an wertvollen Textdaten im Internet (ein englisches Wort entspricht etwa 1 - 2 Tokens). Die Spitzen - Große - Modelle haben diese Daten in den letzten Jahren fast vollständig aufgebraucht.
Ohne frische Daten ist es schwierig, durch die unbegrenzte Vergrößerung der Parameteranzahl qualitative Durchbrüche zu erzielen.
Wie Fedus in einem Interview direkt sagte:
Das Hauptziel der KI ist nicht die Automatisierung von Bürotätigkeiten für Angestellte. Das Hauptziel der KI ist die Beschleunigung der Wissenschaft.
Nach seiner Meinung sind einige der derzeit in Silicon Valley heiß diskutierten Anwendungen von Großen Modellen „geistig träge“. Die KI sollte sich eher auf die Beschleunigung des wissenschaftlichen Fortschritts konzentrieren.
Cubuk weist ebenfalls darauf hin, dass es unmöglich ist, nur durch die logische Schlussfolgerung in Texten mit Großen Modellen über mehrere Tage hinweg bahnbrechende wissenschaftliche Entdeckungen zu machen. Echte wissenschaftliche Durchbrüche erfordern zahlreiche Experimente und unzählige Fehlschläge.
Genau diesen „Hands - on - Experimentier“ - Aspekt fehlt den heutigen KI - Modellen.
Deshalb kamen die beiden Anfang dieses Jahres überein: Anstatt sich an bestehende Daten zu halten, sollten sie die KI in das Labor „schicken“ und neue Daten von Grund auf erstellen lassen.
Sie wollen einen „KI - Wissenschaftler“ schaffen, der selbst Hypothesen aufstellt und diese in der realen Welt wiederholt testet, unabhängig davon, ob das Ergebnis erfolgreich oder erfolglos ist.
Wie Fedus bei der Kommunikation mit Investoren sagte:
Um die KI wirklich Wissenschaft betreiben zu lassen, muss man sie dazu bringen, echte Wissenschaft zu betreiben.
Peter Deng, ein ehemaliger Kollege von Fedus bei OpenAI und jetzt Investment - Partner bei Felicis, blieb sogar mitten auf einem Hang in San Francisco stehen, als er diesen Satz zum ersten Mal hörte, und beschloss sofort, zu investieren.
Nach seiner Meinung beherrschen Große Modelle nur die „reguläre Verteilung“ der Trainingsdaten, d. h. das bereits vorhandene menschliche Wissen.
Um ursprüngliche Innovationen zu erzielen, muss die KI aus ihrer Komfortzone herausgehen und wie ein Wissenschaftler neue Hypothesen aufstellen und testen.
Dieses Konzept ist der Ausgangspunkt für die Gründung von Periodic Labs.
Das autonome Labor: Die Natur als Reinforcement - Learning - Umgebung
Cubuk resümiert, dass in den letzten Jahren drei technologische Fortschritte dies möglich gemacht haben.
Erstens sind Roboterarme, die Pulversynthesen handhaben können, zuverlässig geworden, was bedeutet, dass Maschinen automatisch Rohstoffe mischen und neue Materialien herstellen können.
Zweitens sind die maschinell - lernenden physikalischen Simulationen effizienter und genauer geworden und können komplexe Materialien und chemische Systeme simulieren.
Drittens hat die logische Schlussfolgerungsfähigkeit von Großen Sprachmodellen (LLM) stark zugenommen und kann komplexere Planungen und Analysen durchführen.
Der Zusammenbau dieser drei technologischen Fortschritte zeichnet ein Bild: Die KI kann in der virtuellen Welt Hypothesen aufstellen und berechnen, in der realen Welt Experimente durchführen und dann die Experimentergebnisse analysieren und ihre Strategie anpassen.
Es ist jetzt der richtige Zeitpunkt, ein automatisiertes geschlossenes Laborsystem für die Materialwissenschaft aufzubauen.
Tatsächlich war Cubuk einer der Pioniere in diesem Bereich.
Schon im Jahr 2023 veröffentlichte er mit Kollegen eine Studie in „Nature“, in der ein vollautomatisiertes Roboterlabor von Google beschrieben wurde: Ein KI - Sprachmodell schlägt Experimente vor, und Roboter synthetisieren daraus Materialien. Innerhalb von nur 17 Tagen wurden 41 neue Verbindungen synthetisiert, die bisher nicht dokumentiert waren.
Dieser Erfolg wird als Meilenstein für die autonome KI - Forschung angesehen und beweist die technische Machbarkeit.
Das Herzstück von Periodic Labs ist die Schaffung eines solchen „autonomen Labors“ (autonomous lab).
Es ist ein reales physikalisches Experimentierfeld mit Roboterarmen, die Probenröhrchen und Materialien handhaben, und Sensoren, die die Eigenschaften der Produkte messen. Bei jedem Experiment werden riesige Mengen an ersten - Hand - Daten generiert.
Dieser Prozess ist wie das Schaffen einer riesigen Reinforcement - Learning - Umgebung für die KI, in der die Natur selbst das Testfeld wird.
Das Modell liest Literatur, führt Simulationen durch und stellt Vorhersagen über die Eigenschaften eines Materials auf. Dann synthetisieren Roboter das Material nach dem vorgeschlagenen Plan und messen es, um die Vorhersage zu bestätigen oder zu widerlegen.
Egal, ob das Ergebnis positiv oder negativ ist, es bietet eine Grundlage für die weitere Verbesserung und ermöglicht einen echten „geschlossenen Kreis“.
Da jedes Experiment einzigartig ist, wird dieses System ständig neue Daten generieren, die das Wissensgebiet der KI erweitern.
Außerdem hat es einen Vorteil gegenüber der traditionellen Forschung: Es dokumentiert systematisch die Fehlschläge.
In der herkömmlichen Forschung werden viele „negative Ergebnisse“ ignoriert, und in wissenschaftlichen Publikationen werden hauptsächlich erfolgreiche Fälle berichtet, was zu einem Übergewinnungseffekt in der Forschung führt.
Das autonome Labor von Periodic Labs sieht jeden Fehlschlag als wertvolle Ressource, und der Fehlschlag selbst wird zum Nährboden für das Lernen des Modells.
Im Laufe der Zeit wird die KI eine vollständige Erfahrungsbasis aufbauen, die sowohl erfolgreiche als auch erfolglose Fälle umfasst, und dadurch in der Lage sein, das Unbekannte intelligenter zu erkunden.
Wie es auf der Website von Periodic Labs heißt: „Hier wird die Natur selbst zur Reinforcement - Learning - Umgebung“.
Der Fokus auf Supraleiter und Spitzenmaterialien: Angriff auf Probleme im Milliarden - Dollar - Bereich
Periodic Labs hat sich bewusst für den Bereich der Physikwissenschaft entschieden, und das nicht aus dem Nichts.
Einerseits gibt es im Bereich der Physik und Materialwissenschaft relativ viele Daten, die objektiv verifizierbar sind. In Bereichen mit einer großen Datenmenge und verifizierbaren Ergebnissen erzielt die KI oft rasche Fortschritte (z. B. bei der mathematischen Satzbeweisung oder der Vorhersage der Proteinfaltung).
Andererseits hängt der technologische Fortschritt des Menschen stark von Materialdurchbrüchen ab. Wer zuerst einen Supraleiter bei Raumtemperatur finden würde, würde die Spielregeln grundlegend ändern.
Fedus und Cubuk sind sich dieser Tatsache bewusst, und deshalb ist das erste Ziel des Unternehmens die Entdeckung neuer Hochtemperatur - Supraleiter. Alle derzeit bekannten Supraleiter funktionieren nur bei sehr niedrigen Temperaturen oder hohen Drücken.
Wenn man einen Supraleiter entwickeln könnte, der bei annähernd Raumtemperatur funktioniert, würde