GPT-5 kann erstmals logisch schließen. Mitgründer von OpenAI enthüllen die Geheimnisse der Künstlichen Allgemeinen Intelligenz (AGI). Das überkritische Lernen verschlingt Rechenleistung. Wird das Geld 2045 sinnlos?

„GPT-5 ist ein Wendepunkt.“

Gestern hat Greg Brockman, Mitbegründer von OpenAI, in einem exklusiven Interview mit dem Latent Space-Team GPT-5 hoch gelobt.

Dieses einstündige Interview war von hohem Informationsgehalt.

Von der Bedeutung von GPT-5, dem Wendepunkt bei der Inferenz und dem verstärkten Lernen, über die Rechenleistungsschranken und die praktische Umsetzung von KI-Projekten bis hin zur Vorhersage der zukünftigen Gesellschaft – Greg Brockmans Gespräch enthüllte die neuesten strategischen Überlegungen von OpenAI.

Er sagte auch: „Als wir GPT-4 intern trainiert hatten, wussten wir, dass wir im nächsten Schritt zum Inferenzparadigma übergehen mussten. Dies ist keine neue Idee, sondern der einzige Weg, um das Modell zuverlässig zu machen.“

Im Folgenden sind die wichtigsten Punkte des gesamten Interviews:

· GPT-4 kann kontinuierlich kommunizieren, ist aber nicht zuverlässig genug; GPT-5 lernt tatsächlich „zu inferieren“.

· Zukünftige Modelle werden nicht mehr „einmal trainiert und unendlich oft inferiert“ werden, sondern lernen im Laufe der Nutzung.

· Überkritisches Lernen: Die KI lernt nicht nur die Antworten, sondern kann auch die Folgeketten ableiten.

· Die Nutzung von KI ist eine Managementdisziplin. Man muss der Manager mehrerer intelligenter Agenten sein.

· Das einzige knappe Ressourcen ist die Rechenleistung.

GPT-5, ein Wendepunkt

Als Greg über GPT-5 sprach, betonte er, dass dies das erste „Hybridmodell“ von OpenAI ist, das automatisch zwischen Inferenzmodellen und Nicht-Inferenzmodellen über einen Router wechselt.

Dieses Modell reduziert die Komplexität der Nutzung und vermeidet, dass Benutzer sich überlegen müssen, „welche Version sie wählen sollen“.

Was die Leistung betrifft, hat GPT-5 bereits qualitative Veränderungen bei hochintelligenten Aufgaben wie Mathematik, Programmierung und Physik gezeigt.

Greg machte einen deutlichen Vergleich mit den Vorgängermodellen.

Nach der Veröffentlichung von GPT-3 war seine Textverarbeitungsfähigkeit noch sehr begrenzt. Es konnte selbst einfache Aufgaben wie das Sortieren von Zahlen nicht gut ausführen.

Bei GPT-4 stieg die Praktikabilität erheblich, was die breite kommerzielle Nutzung ermöglichte. Dennoch war es bei tiefgreifenden intellektuellen Aufgaben noch unzureichend.

„Und GPT-5 ist ein Wendepunkt.“

GPT-5 kann in extrem schwierigen Bereichen wie den internationalen Wettbewerben IMO und IOI Beweise schreiben, die denen der besten Menschen entsprechen.

Dies war in der Vergangenheit eine enorme Herausforderung, aber jetzt können wir es mit einem kleinen Team lösen.

Was noch erstaunlicher ist, haben Physiker gemeldet, dass die Inferenzprozesse von GPT-5 die Erkenntnisse wiederholen können, die sie erst nach Monaten von Forschung gewonnen haben.

Dies bedeutet, dass das Modell nicht mehr nur ein „Hilfsmittel zum Schreiben“ ist, sondern ein echter Forschungspartner.

Er erwähnte auch, dass OpenAI nach GPT-4 eine entscheidende Einschätzung getroffen hat:

Allein durch eine riesige Menge an vortrainierten Daten kann das Modell nicht wirklich zuverlässig gemacht werden.

Frühe Experimente zeigten, dass GPT-4 zwar kontinuierliche Gespräche führen kann, aber oft „abirrt“ und nicht zuverlässig ist.

Deshalb entschied das Team, dass das Modell „Ideen testen – Feedback erhalten – verstärkt lernen“ muss, um die Lücke zur Künstlichen Allgemeinintelligenz (AGI) zu schließen.

Greg erklärte: „Wir möchten, dass das Sprachmodell wie die damalige Dota-KI von einem zufällig initialisierten neuronalen Netzwerk schließlich komplexes und stabiles Verhalten lernt.“

Verstärktes Lernen kann die begrenzte Gestaltung menschlicher Aufgaben zu zuverlässiger Intelligenz erweitern.

Dies ist auch der größte Paradigmenwechsel hinter GPT-5: Vom statischen Training zum dynamischen Inferieren.

Überkritisches Lernen

Das menschliche Lernen hat das „Schlafwiederholen“, und die KI erforscht auch den Zyklus von „Inferenz – Retraining“.

Die Modelle von OpenAI haben sich von „Offline-Training + viel Inferenz“ hin zu „Inferenz + Retraining auf der Grundlage von Inferenzdaten“ gewandelt und nähern sich schrittweise dem menschlichen Lernprozess.

Greg sagte: „Wir gehen aus der Ära des 'einmaligen Trainings und unendlichen Inferierens' in eine neue Ära des 'gleichzeitigen Inferierens und Trainings' über.“

In diesem Prozess muss der Mensch nur wenige Aufgaben gestalten, und das Modell kann durch Tausende von Versuchen komplexes Verhalten lernen, aber die Rechenleistungskosten sind enorm.

Wenn die Rechenleistung um das 10-fache oder 10.000-fache erhöht wird, tritt beim Modell „überkritisches Lernen“ (Supercritical learning) auf.

Dies bedeutet, dass das große Sprachmodell (LLM) nicht nur die aktuelle Aufgabe meistern muss, sondern auch sekundäre und tertiäre Effekte ableiten muss.

Bei der Vorstellung zukünftiger Anwendungen des Modells glaubte Greg aufgrund seiner Erfahrungen in einem biologischen Forschungsinstitut, dass die DNA wie eine Prophezeiung vom neuronalen Netzwerk gelernt werden kann.

Er sagte, dass für das neuronale Netzwerk menschliche Sprache und biologische Sprache im Wesentlichen kein Unterschied sind und dass wir bei der DNA-Modellierung bereits auf dem Niveau von GPT-2 sind.

Greg erwähnte auch, dass seine Frau an einer seltenen genetischen Krankheit leidet. Die Fortschritte der KI in der Medizin haben für ihn persönliche Bedeutung.

Best Practice in der Softwareentwicklung, Aufbau einer Prompt-Waffenkammer

Wie können Entwickler die maximale Leistung eines so leistungsstarken Modells erzielen?

„Um das Potenzial des Modells voll auszuschöpfen, sind tatsächlich einige spezielle Techniken erforderlich.“

Dafür braucht es eine fast zwanghafte Hartnäckigkeit, um die Grenzen der Modellfähigkeiten und die Konturen der Mängel wirklich zu verstehen.

Deshalb schlug Greg die beste Praxis in der Softwareentwicklung vor:

1. Aufbau einer KI-freundlichen Codebasis: Klare Module, vollständige Unittests und ausführliche Dokumentation;

2. Zerlegung von Aufgaben, sodass mehrere intelligente Agenten parallel arbeiten;

3. Verwaltung einer „Prompt-Bibliothek“, Aufbau einer eigenen Prompt-Waffenkammer und ständige Erkundung der Grenzen des Modells.

Allerdings sind diese Prompts oft nicht die einzige richtige Antwort, sondern Tests, die das Modell zu Kreativität und Vielfalt anregen.

Im Interview sagte Greg: „Ich betrachte das Modell immer als ein Entwicklungsteam und nicht als ein einzelnes Werkzeug.“

Es kann Aufgaben remote und asynchron ausführen oder auch in Echtzeit wie bei der Paarprogrammierung zusammenarbeiten.

Noch wichtiger ist, dass die KI keine Probleme mit vollständiger „Mikromanagement“ hat und unendlich kopiert werden kann, was menschliche Entwickler nicht können.

GPT-5 zeigt bei Frontend-Tests hervorragende Ergebnisse, aber Entwickler dürfen nicht nur an bestimmte Stärken „überanpassen“, sondern müssen lernen, dass die KI zwischen verschiedenen Modulen wechselt, um einen vollständigen Arbeitsablauf zu bilden.

Greg gab ein Beispiel: Er weist gewöhnlich nicht kritische Aufgaben an das Modell aus, um das Risiko zu reduzieren und gleichzeitig den Informationsfluss aufrechtzuerhalten.

Er behauptete auch, dass OpenAI die größte intelligente Maschine in der Geschichte der Menschheit baut. Im Vergleich dazu wirken Projekte wie die „Apollo-Mission“ fade.

Selbst wenn einige Aufgaben automatisiert werden, bleiben gute Entwickler knapp.

Was die aktuelle Situation der KI-Forschung betrifft, stellte Greg fest, dass die verschiedenen Labors nicht homogen sind, sondern jeweils eine eigene Ausrichtung haben.

Das Hauptaugenmerk von OpenAI liegt auf – dem nächsten Paradigmenwechsel. Die Prioritäten umfassen: Inferenzparadigma, Multimodalität und Anwendungen.

Rechenleistung, die ewige Schranke

In der nächsten Zukunft wird die Rechenleistung die heißeste Ressource sein.

Innerhalb von OpenAI können die Forscher erst größere Projekte starten und mehr Ergebnisse erzielen, wenn sie mehr Rechenressourcen haben.

Kürzlich sagte Altman, dass sie ein stärkeres Modell intern haben, aber es aufgrund der fehlenden Rechenleistung nicht veröffentlichen können.

Als es um die Grenzen der KI ging, sagte Greg auf den Punkt: „Die Schranke ist immer die Rechenleistung.“

Wenn Sie uns mehr Rechenleistung geben können, können wir sie in ein stärkeres Modell umwandeln.

Er verglich die Rechenleistung auch mit einer Art „Energie“. Das Vortraining wandelt die Energie in potenzielle Intelligenz um, und die Inferenz setzt diese Intelligenz wieder in kinetische Energie um, die für Aufgaben in der realen Welt genutzt wird.

Deshalb begann OpenAI dieses Jahr mit dem Bau des Superclusters „Stargate“ und erweitert ständig seine Infrastruktur.

Nach Gregs Meinung wird die „Verteilung der Rechenleistung“ in der zukünftigen Gesellschaft ein zentrales Thema sein und sogar knapper als Reichtum.

Mit seinen Worten: „Die einzige Ressource, von der man in der Zukunft sicher sein kann, dass sie knapp sein wird, ist die Rechenleistung.“

Greg glaubt, dass mit der Skalierung der Rechenleistung die Inferenztiefe der KI exponentiell zunehmen wird.

2045: Die KI generiert alles, wird das Geld sinnlos?

Im Interview fragte der Moderator, was Greg auf einen Zettel schreiben würde, den er nach 2045 schicken würde.

Greg Brockman sagte, dass es in dieser Zeit eine erstaunlich reiche Welt geben würde. Die Fortschritte der KI könnten es uns ermöglichen, die Träume aus Science-Fiction-Romanen zu verwirklichen und sogar zu einer mehrplanetarischen Zivilisation voranzuschreiten.

Das Anwendungsgebiet der KI ist unendlich weit. Egal, ob in der Medizin, der Bildung oder anderen Branchen, es gibt unzählige „nicht gepflückte Früchte“, die noch zu erforschen sind.

Allerdings wird die Frage, wie man eine faire und effiziente Gesellschaft aufbaut, um die Rechenressourcen zu verteilen, in der Zukunft gründlich überdacht werden müssen.

Aber er betonte auch ernsthaft:

Wenn die KI alles kostenlos generieren kann, könnte das Geld seine Bedeutung verlieren;

aber die Rechenleistung wird zu einer neuen knappen Ressource. Wer mehr Rechenleistung bekommt, kann mehr tun.

Am Ende des Interviews erinnerte Greg sich daran, dass er als junger Mann oft dachte, er hätte die Zeit verpasst.

Er sagte: „Ich dachte, wenn ich bereit wäre, wären alle coolen Probleme sicher schon gelöst … aber es stellte sich heraus, dass ich damit völlig falsch lag. Die Anzahl der Probleme wächst mit der Zeit und nicht ab.“

Mit anderen Worten, es ist immer noch