OpenAI reorganisiert das "Seelen"-Team von GPT-5! Die asiatische Teamleiterin wird abberufen, und es wird selten die Ursache für AI-Halluzinationen preisgegeben.

[Neuer Leitfaden von New Intelligence Yuan] OpenAI hat eine bedeutende strukturelle Anpassung vorgenommen: Das Team für das "Modellverhalten" von ChatGPT wird in das Post-Training-Team integriert. Die ehemalige Leiterin Joanne Jang wird die neu gegründete OAI Labs leiten. Der Grund dahinter könnte eine jüngste Entdeckung sein: Die Bewertungen belohnen "Halluzinationen" des Belohnungsmodells, was das Modell dazu bringt, sich wie ein "Prüfungskandidat" zu verhalten. Eine Organisationsumstrukturierung und eine Umgestaltung des Bewertungsansatzes könnten möglicherweise die Fähigkeitsgrenzen und die Produktform von KI neu definieren.

Am 6. September 2025 hat OpenAI beschlossen, das Forschungs- und Entwicklungsteam für die "Persönlichkeit" von ChatGPT umzustrukturieren!

Diese Gruppe von etwa 14 Personen hat zwar eine kleine Größe, aber eine große Verantwortung - sie muss dafür sorgen, dass das GPT-Modell weiß, wie es mit Menschen interagieren soll.

Nach internen Informationen wird das Modellverhaltens-Team (Model Behavior team) direkt in das Post-Training-Team integriert und dem Leiter des Post-Training-Teams, Max Schwarzer, berichten.

Die ehemalige Leiterin des Teams, Joanne Jang, gründet von Grund auf ein neues Labor, die "OAI Labs" - um neue Prototypen von Interfaces für die Zusammenarbeit zwischen Menschen und KI zu entwickeln und zu konstruieren.

Zur gleichen Zeit hat OpenAI sehr selten eine Studie veröffentlicht, in der enthüllt wird, dass wir selbst die Schuld an den "Halluzinationen" der KI tragen!

Das gesamte Branchen "Prüfungs"-Bewertungssystem, das für das Erreichen hoher Platzierungen in den Ranglisten entwickelt wurde, zwingt die KI dazu, lieber zu raten, als ehrlich zu sagen: "Ich weiß es nicht."

Link zur Studie: https://openai.com/index/why-language-models-hallucinate/

Ein surrealer Tag

Das Modellverhaltens-Team hat fast an der gesamten Modellentwicklung nach GPT-4 teilgenommen, einschließlich GPT-4o, GPT-4.5 und GPT-5.

Letzte Woche hat Joanne Jang, die Leiterin des Model Behavior-Teams, die Kategorie "Denker" (Time AI 100 Thinkers) der Liste der 100 einflussreichsten KI-Personen in der Welt von "Time" errungen und Prominenten wie dem Turing-Preisträger und einem der "Drei Großen" des Deep Learning, Yoshua Bengio, sowie dem Chefwissenschaftler von Google, Jeffrey Dean, übertroffen.

Am gleichen Tag hat OpenAI beschlossen, sie aus dem Team zu entfernen und ihr eine neue Aufgabe zuzuweisen.

Für sie war dieser Tag wirklich "surreal".

Joanne Jang glaubt, dass der Kern ihrer Arbeit darin besteht, "Benutzern zu ermöglichen, ihre Ziele zu erreichen", aber nur unter der Bedingung, dass dabei keine Schäden verursacht oder die Freiheit anderer verletzt wird.

Sie sagt klar: Die Mitarbeiter von KI-Laboren sollten nicht die Richter sein, die entscheiden, was die Menschen schaffen können und was nicht.

Neuer Anfang: Auf die nächste Generation der KI-Interaktion abzielen

Joanne Jang hat in einer Veröffentlichung angekündigt, dass sie eine neue Position hat: die Erfindung und Prototypisierung von ganz neuen Interfaces und die Erforschung zukünftiger Arten der Zusammenarbeit zwischen Menschen und KI.

Sie wird von Grund auf das neue OAI Labs-Labor leiten: ein forschungsgetriebenes Team, das sich der Erfindung und Konstruktion von Prototypen neuer Interfaces für die Zusammenarbeit zwischen Menschen und KI widmet.

Mit dieser Plattform wird sie neue Modelle jenseits des Chats und sogar jenseits von Agenten erforschen - hin zu einer völlig neuen Paradigma und Werkzeugen, die für das Denken, Schaffen, Vergnügen, Lernen, Verbinden und Handeln eingesetzt werden können.

Dies macht sie unglaublich aufgeregt und ist auch die Arbeit, die sie in den letzten vier Jahren bei OpenAI am meisten genossen hat:

Die Umwandlung von führenden Technologien in Produkte für die Welt und die Zusammenarbeit mit talentierten Kollegen bei der Umsetzung.

Von DALL·E 2, dem Standard-Sprachmodus bis hin zu GPT-4 und dem Modellverhalten hat ihre Arbeit bei OpenAI verschiedene Arten der Personalisierung und Interaktion umfasst.

Sie hat viel gelernt und tiefe Einsichten gewonnen:

Wie sehr die Gestaltung eines Interfaces die Menschen dazu anregen kann, die Grenzen ihrer Vorstellungskraft zu überschreiten.

Bei einem Interview hat sie eingeräumt, dass es sich noch um einen frühen Stadium handelt und es noch keine klare Antwort darauf gibt, welche neuen Interfaces tatsächlich erforscht werden werden.

Ich bin sehr aufgeregt, einige Modelle zu erforschen, die das "Chat"-Paradigma übertreffen. Der Chat ist derzeit eher mit Begleitung verbunden; "Agenten" hingegen betonen die Autonomie.

Aber ich betrachte lieber KI-Systeme als Werkzeuge für das Denken, Schaffen, Spielen, Handeln, Lernen und Verbinden.

Die Modellverhaltens-Forscher bei OpenAI sind für die Gestaltung und Entwicklung von Bewertungssystemen (evals) verantwortlich, die mehrere Aspekte betreffen:

Alignment, Training, Daten, Reinforcement Learning (RL) und Post-Training usw.

Außer der Forschung selbst müssen Modellverhaltens-Forscher auch eine scharfe Intuition für Produkte und ein tiefes Verständnis der klassischen KI-Alignment-Probleme haben.

Die Erfahrungsanforderungen von OpenAI an Modellverhaltens-Forscher

Bei einer früheren Stellenausschreibung hat OpenAI gesagt: Das Modell ist das Produkt, und das Bewertungssystem ist die Seele des Modells.

Aber die neuesten Forschungsergebnisse von OpenAI zeigen: Das Bewertungssystem bestimmt grundlegend das Modell.

In der Studie haben die Forscher den Schluss gezogen:

Tatsächlich belohnen die meisten gängigen Bewertungen halluzinatorisches Verhalten. Mit einigen einfachen Änderungen an diesen gängigen Bewertungen kann man die Anreizstruktur neu kalibrieren, so dass das Modell belohnt wird, wenn es Unsicherheit ausdrückt, anstatt bestraft zu werden.

Dieser Ansatz kann nicht nur die Hindernisse für die Verhinderung von Halluzinationen beseitigen, sondern auch die Tür für zukünftige Sprachmodelle mit feineren pragmatischen Fähigkeiten öffnen.

Diese Entdeckung ist für OpenAI wichtig: Das Bewertungssystem hat einen direkten Einfluss auf die Fähigkeiten von LLMs.

Berichten zufolge hat Mark Chen, der Chefwissenschaftler von OpenAI, in einer an die Mitarbeiter versendeten Notiz darauf hingewiesen, dass es jetzt ein guter Zeitpunkt ist, das Modellverhalten noch stärker in die Kernmodellentwicklung zu integrieren.

Wir haben die KI selbst dazu gebracht, seriös zu lügen

Kürzlich haben die Forscher von OpenAI einen interessanten Test durchgeführt.

Zuerst haben sie einen gängigen KI-Roboter gefragt: "Was ist der Titel der Dissertation von Adam Tauman Kalai (Erster Autor der Studie)?"

Der Roboter hat mit drei verschiedenen Antworten geantwortet, aber keine davon war richtig.

Dann haben sie gefragt: "Wann ist Adam Tauman Kalai geboren?"

Diesmal hat der Roboter ebenfalls drei verschiedene Daten angegeben, alle ebenfalls falsch.

Um eine hohe Punktzahl zu erreichen, wird die KI gezwungen, zu raten

Das obige Beispiel zeigt lebendig, was "Modellhalluzinationen" sind - d.h. die scheinbar vernünftigen, aber tatsächlich erfundenen Antworten, die von der KI generiert werden.

In der neuesten Studie hat OpenAI festgestellt:

Das Modell hat Halluzinationen, weil die Standard-Trainings- und Bewertungsprozesse das Raten belohnen, anstatt das Modell zu ermutigen, seine Unsicherheit zuzugeben.

Einfach ausgedrückt, haben wir bei der Bewertung der KI die falschen Anreize gesetzt.

Obwohl die Bewertung selbst nicht direkt zu Halluzinationen führt, veranlassen die meisten Bewertungsmethoden das Modell eher zu raten, als ehrlich zu sagen, dass es sich nicht sicher ist.

Das ist wie eine große "Prüfungsorientierte Bildung"