Lao Huang kündigte im Namen von OpenAI die Erreichung von AGI an, der Ersteller der Testaufgaben blamierte ihn sofort auf der Stelle: Bei Wechsel der Prüfungsumgebung sinkt die Genauigkeit von 99,9 % auf 62,7 %.
Am vergangenen Donnerstag veröffentlichte OpenAI GPT-6 Astra.
Auf der offiziellen Website wird es als „das intelligenteste und am besten ausgerichtete Modell der Welt“ bezeichnet.
Unmittelbar danach veröffentlichte Jensen Huang einen Beitrag auf X, der die Angelegenheit auf eine neue Ebene hob:
Die Künstliche Allgemeine Intelligenz (AGI) ist da. Glückwunsch an das OpenAI-Team.
Werft man einen Blick auf die offizielle Veröffentlichungsseite von GPT-6 Astra, findet man nirgends Ausdrücke wie „AGI ist erreicht“.
Ein Anbieter von Grafikprozessoren hat die Sache für die Modellentwickler zu Ende ausgesprochen.
Noch interessanter ist die Institution, die die Prüfungsaufgaben erstellt.
Auf der Veröffentlichungsseite von OpenAI steht, dass Astra 99,9 % bei ARC-AGI-3 erzielt hat und diesen nach AGI benannten Benchmark „gesättigt“ hat.
Die für die Aufgabenerstellung zuständige Bewertungsinstitution ARC Prize lehnte das Ergebnis nach der Ansicht der Punktzahl sofort ab: „Das zählt nicht.“
Die ARC Prize-Stiftung veröffentlichte am selben Tag einen erläuternden Text:
Diese Punktzahl stammt aus einer von OpenAI angepassten Testumgebung. Wird die Standardumgebung verwendet, die für alle Hersteller gleichermaßen gilt, beträgt das Ergebnis nur 62,7 %.
Ihre Schlussfolgerung lautet nur ein Satz: Astra hat echte Fortschritte bei der Generalisierung gemacht, „aber wir behaupten nicht, dass es sich um AGI handelt“.
Der Chiphersteller hat das direkt bestätigt, das Modellunternehmen hat sich einen Spielraum gelassen, und die für die Aufgaben zuständige Benchmark-Institution hat das Ergebnis direkt abgelehnt.
Das ist wahrscheinlich die surrealste Szene im KI-Bereich der letzten Tage: AGI wurde dieses Mal nicht wirklich „erreicht“, sondern von Vertretern verschiedener Seiten auf sozialen Plattformen „verkündet“.
Wie äußert sich OpenAI selbst dazu?
Auf der Presstelefonkonferenz am Veröffentlichungstag sagte Präsident Greg Brockman eine sehr aufrührerische Aussage:
Willkommen im Zeitalter der AGI.
Er sagte sogar voraus, dass man, wenn man in einigen Jahren zurückblickt, wann AGI entstanden ist, „wahrscheinlich genau diese Zeit, vielleicht genau dieses Modell“ als Ursprung bezeichnen wird.
Klingt das wie eine offizielle Bestätigung?
Aber er fügte sofort zwei Einschränkungen hinzu: Erstens ist dies sein „persönliches Urteil“; zweitens ist AGI ein vages, unscharfes Konzept, „ob es das ist, entscheidet jeder Nutzer selbst“.
Auf der wichtigsten Produktveröffentlichungsveranstaltung des Unternehmens nutzt der Präsident tatsächlich eine „persönliche Ansicht“, um den Ton für das neue Zeitalter anzugeben, und überlässt die endgültige Entscheidung sogar den Nutzern im Internet.
Das kann nur eines bedeuten: Auch innerhalb von OpenAI gibt es keine klare, öffentlich vorzeigbare Bestätigung für das Vorliegen von AGI.
Noch interessanter ist die Haltung von CEO Sam Altman.
Vor der Veröffentlichung von Astra hat er öffentlich kritisiert, dass „AGI“ ein Begriff mit schlechter Definition ist, der fast zu einem Marketingbegriff geworden ist.
Der CEO findet den Begriff zu vage, der Präsident nutzt ihn als „persönliche Ansicht“, und die offizielle Website erwähnt ihn einfach gar nicht.
Jensen Huangs Bestätigung und Glückwünsche zu AGI fallen genau in diesen delikaten Lückenbereich.
99,9 % und 62,7 %: Zwei Ergebnisse bei derselben Prüfung
Ist Astra wirklich so leistungsstark?
Auf der Veröffentlichungsseite von OpenAI steht:
Astra hat eine unglaublich hohe Punktzahl von 99,9 % bei dem nach AGI benannten Benchmark-Test ARC-AGI-3 erreicht und diesen Test „gesättigt“.
Aber die Enttäuschung folgte auf dem Fuße.
Am selben Tag veröffentlichte die für die Aufgaben zuständige ARC Prize-Stiftung einen Text, der diese „99,9 %“ öffentlich aufschlüsselte.
Es stellte sich heraus, dass Astra die Prüfung zweimal abgelegt hat.
In der ARC-AGI-3-Rangliste sind die Ergebnisse von Astra in zwei Umgebungen getrennt aufgeführt; in derselben Liste erreicht Claude Opus 5 30,2 % und GPT-5.6 Sol 7,8 %.
In der von OpenAI tiefgreifend angepassten Umgebung mit „eigenen Werkzeugen“ (das Modell darf seinen Denkzustand behalten und exklusive Technologien zur Verwaltung langer Dialoge nutzen) hat es tatsächlich 99,9 % erreicht, wobei fast 19.000 US-Dollar Kosten entstanden sind.
Aber wenn man die Standardumgebung für die „Prüfung ohne Hilfsmittel“ nutzt, die für alle Hersteller gleichermaßen gilt, beträgt sein Höchstergebnis tatsächlich nur 62,7 %, und die Kosten steigen sogar auf 26.000 US-Dollar an.
Die Haltung von ARC Prize ist unnachgiebig: Die zukünftige AGI muss in der Lage sein, Probleme unter Standardbedingungen zu lösen. Die 99,9 % mit Hilfsmitteln und die 62,7 % bei der Prüfung ohne Hilfsmittel sind zwei völlig verschiedene Dinge.
Natürlich geben die Aufgabensteller auch zu, dass Astra eine „stufenweise“ Überraschung gebracht hat: In 96 % der Level nutzt Astra weniger Aktionen als Menschen, durchschnittlich 51,7 % weniger.
Das ist das erste Mal, dass KI die Menschen in der Effizienz von Aktionen umfassend übertrifft.
Aber ARC Prize hat die Sache schon im Voraus klargestellt: Am Tag der Veröffentlichung von ARC-AGI-3 wurde festgelegt, dass das Erreichen der vollen Punktzahl bei diesem Benchmark nicht bedeutet, dass man AGI erreicht hat.
Der Grund ist einfach: Auch die schwierigste Testumgebung ist geschlossen, mit festgelegten Mechanismen und begrenzten Zielen, die die Komplexität und Offenheit der realen Welt nicht repräsentieren.
Genau wie ein Spitzenstudent, der in der Prüfung die volle Punktzahl erreicht, ist er im echten Berufsleben nicht unbedingt immer überlegen.
100.000 Chips zum Trainieren von Modellen, 400.000 Chips zum Verkauf der Zukunft
Da selbst die Aufgabensteller das Ergebnis nicht anerkennen, warum hat Jensen Huang es am eiligsten, zu verkünden, dass „AGI da ist“?
Wenn man den Beitrag von Jensen Huang genau aufschlüsselt, stellt man fest, dass seine Informationsstruktur viel reicher ist, als es auf den ersten Blick scheint.
Der vollständige Text des Beitrags lautet:
GPT-6 Astra wurde auf etwa 100.000 NVIDIA Grace Blackwell NVLink72 trainiert. Von ChatGPT über o1 bis zu Astra hat es nur 4 Jahre gedauert. Die AGI ist da. Glückwunsch an das OpenAI-Team. Als Nächstes werden weitere 400.000 GPUs in Betrieb genommen.
Die erste Zahl: 100.000.
Astra ist das bisher umfangreichste Training von OpenAI, bei dem mehr als 100.000 GPUs verbraucht wurden.
Die zweite Zahl: 4 Jahre.
Von ChatGPT über o1 bis zu Astra verbindet Jensen Huang die Dialogmodelle, die Schlussfolgerungsmodelle und die sogenannte AGI zu einer geraden Linie entlang einer Zeitachse.
Die dritte Zahl: 400.000.
„Als Nächstes werden weitere 400.000 GPUs in Betrieb genommen.“
Wem gehören diese 400.000? Welches Modell sind sie? Wofür werden sie verwendet? Jensen Huang lässt hier eine offene Frage.
Aber wenn diese drei Zahlen zusammen mit „AGI ist da“ in denselben Beitrag aufgenommen werden, entsteht in den Köpfen der Leser eine solche geschäftliche Erzählung:
100.000 GPUs haben Astra (also AGI) hervorgebracht – was werden dann die nächsten 400.000 GPUs hervorbringen?
In diesem Kontext ist AGI nicht mehr ein abstraktes technisches Endziel, sondern der stärkste Nachweis für den Bedarf an Rechenleistung.
Sobald AGI allgemein als „erreicht“ anerkannt wird, ist die teure Rechenleistung nicht mehr nur ein Kostenfaktor für Unternehmen, sondern zu einem unverzichtbaren Gut, auf das niemand verzichten kann.
Die auf X verkündete AGI kommt nicht in kommerzielle Verträge
Im vergangenen Oktober wurde in der neuen Vereinbarung zwischen OpenAI und Microsoft eine Klausel festgelegt: Nachdem OpenAI AGI verkündet hat, muss dies noch von einem unabhängigen Expertengremium überprüft werden.
In diesem Jahr im Februar bestätigten die beiden Seiten gemeinsam erneut, dass Definition und Anerkennungsverfahren von AGI im Vertrag „unverändert bleiben“.
Im April wurde die Vereinbarung erneut überarbeitet: Die Umsatzbeteiligung von Microsoft wird nun „unabhängig von den technischen Fortschritten von OpenAI“ berechnet. Die Öffentlichkeit interpretiert dies allgemein so, dass die auslösende Wirkung der AGI-Klausel für kommerzielle Interessen stark abgeschwächt wurde.
Das heißt, was Brockman auf der Presseveranstaltung sagt, was Jensen Huang auf X schreibt und welche Punktzahl bei ARC-AGI-3 erreicht wird – all das stellt keine AGI-Anerkennung im Sinne des Vertrags dar.
Gerade jetzt befindet sich OpenAI in der entscheidenden Phase der Vorbereitung auf den Börsengang, und der direkte Konkurrent Anthropic arbeitet ebenfalls intensiv auf den Börsengang hin.
Der Begriff „AGI“ ist bereits in die Investitionsvereinbarungen zwischen OpenAI, Microsoft und Amazon aufgenommen worden. Er betrifft nicht nur technische Überzeugungen, sondern auch die Aktienpreisgestaltung und kommerzielle Kontrollrechte.
Das erklärt auch, warum Brockman es nur wagt, es als „persönliches Urteil“ zu bezeichnen, und warum die offizielle Website von OpenI AGI strikt nicht erwähnt.
In der öffentlichen Meinung kann man das Zeitalter der AGI gerne begrüßen – aber in den Verträgen darf man kein zusätzliches Wort schreiben.
Wer ist berechtigt, AGI zu verkünden?
Ein langer Artikel von Bloomberg hat diese Frage durchgearbeitet, und die Antwort lautet: Niemand hat das letzte Wort.
Schauen wir uns zuerst die Definitionen an.
Die Version von OpenAI lautet „ein System, das Menschen in den meisten Aufgaben mit wirtschaftlichem Wert übertrifft“.
Ein Papier von Google DeepMind aus dem Jahr 2023 betrachtet nicht den wirtschaftlichen Wert, sondern die Allgemeinheit – also die Fähigkeit, neue Fähigkeiten mit sehr wenigen Daten zu erlernen.
ARC Prize ist noch direkter und sagt, dass wirtschaftlicher Wert „der falsche Maßstab zur Messung von Intelligenz ist“. Ihre Definition lautet „ein System, das neue Fähigkeiten außerhalb der Trainingsdaten effizient erlernen kann“.
Sogar die Begriffe sind alle unterschiedlich.
Dario Amodei von Anthropic nutzt ungern den Begriff AGI und nennt es stattdessen „leistungsstarke KI“ (Powerful AI). Mustafa Suleyman von Microsoft hat den Begriff „leistungsfähige KI“ (Artificial Capable Intelligence) geprägt.
Meta und OpenAI überspringen in letzter Zeit einfach AGI und sprechen direkt von „Superintelligenz“.
Die Zeitpläne sind noch unübersichtlicher.
Im September 2024 sagte Altman, dass „Systeme, die auf AGI hindeuten, entstehen“, und sogar dass „innerhalb von einigen tausend Tagen“ Superintelligenz auftauchen könnte.
Ein Jahr später, als GPT-5 veröffentlicht wurde, gab er zu, dass „uns noch eine ziemlich wichtige Sache fehlt“, sagte aber nicht, was das ist.
Ein weiteres Jahr später sagte Brockman auf der Astra-Veröffentlichungsveranstaltung „Willkommen im Zeitalter der AGI“.
Auf der Seite von DeepMind hat Shane Legg seit 1999 darauf gesetzt, dass die Wahrscheinlichkeit für die Erreichung von AGI bis 2028 50 % beträgt; Demis Hassabis sagt aber, dass es noch fünf bis zehn Jahre dauern wird. Der Zeitraum scheint sich zu verkürzen, nur weil „die Definition von AGI verwässert wird“.