Das neue Sprachmodell von OpenAI hat zuerst die Nutzer verärgert

In der Live-Sendung in der vergangenen Nacht um Mitternacht hat OpenAI die neue Generation des Sprachmodells GPT-Live vorgestellt und angekündigt, dass es ab sofort die Steuerung von ChatGPT Voice übernimmt.

Die letzte generationsübergreifende Aktualisierung von ChatGPT Voice war das Advanced Voice, das im Mai 2024 bei der Vorstellung von GPT-4o präsentiert wurde. Im Juli desselben Jahres wurde es in kleinem Umfang für einige Plus-Benutzer eingeführt. Bis zur Veröffentlichung von GPT-Live sind zwei Jahre vergangen.

Diesmal hat OpenAI die Full-Duplex-Architektur in ChatGPT Voice eingeführt.

Frühere KI-Sprachassistenten ähnelten meist einem schnellen Sprechfunkgerät: Der Benutzer sagte einen Satz, und das Modell antwortete darauf. Wenn das Modell sprach, konnte der Benutzer es unterbrechen, aber das System musste normalerweise die Situation neu bewerten und die Antwort neu formulieren.

Es ähnelte bereits einem Gespräch, war aber noch nicht natürlich genug – nicht wie ein echter, ungezwungener Austausch.

Genau diese subtile Differenz soll GPT-Live beseitigen.

Diese Funktion wird heute offiziell in ChatGPT aktiviert. Aber … die Resonanz scheint nicht besonders positiv zu sein?

01

Eine Nachbesserung für ChatGPT Voice

In echten Gesprächen reden Menschen – abgesehen von Debatten – selten streng nacheinander, Satz für Satz. Wir machen Pausen, zögern, korrigieren uns plötzlich und sagen mitten im Reden des Gegenübers: „Warte, das meinte ich nicht.“

Manchmal ist ein kurzes „Mhm“ oder „Ich verstehe“ wichtiger als eine ausführliche Antwort. Manchmal ist die beste Reaktion, erst einmal zu schweigen und den anderen weiterreden zu lassen.

Genau diese Details waren für frühere KI-Sprachassistenten am schwierigsten zu verarbeiten.

Sowohl ChatGPT, Gemini als auch die uns vertrauten KI-Assistenten wirkten in ihren Gesprächen oft steif und unnatürlich – mit deutlichem „Mensch-Maschine“-Gefühl.

Sie konnten Fragen beantworten, Text vorlesen und beim Unterbrechen durch den Benutzer stoppen. Aber sie basierten meist auf einer Voraussetzung: Zuerst prüfen, ob der Benutzer fertig gesprochen hat, bevor das Modell selbst zu reden beginnt. Wenn diese Prüfung fehlschlug, wurde das Gespräch unangenehm.

Wenn der Benutzer nur eine Sekunde pausierte, dachte das Modell vielleicht, die Frage sei beendet, und eilte, zu antworten. Wenn der Benutzer mitten im Satz seine Meinung änderte, antwortete es vielleicht noch auf den vorherigen Gedanken. Selbst Stimmen aus dem Hintergrund konnten fälschlicherweise als Benutzereingabe erkannt werden.

GPT-Live soll genau diese kleinen Probleme beheben – Probleme, die sich nicht als „große Funktion“ vermarkten lassen, aber das Erlebnis maßgeblich bestimmen.

Um das aktuelle GPT-Live zu verstehen, schauen wir uns zuerst an, wie die vorherigen Sprachsysteme von OpenAI funktionierten.

Das früheste ChatGPT Voice verwendete ein kaskadiertes Sprachsystem.

Einfach gesagt: Nicht ein einziges Modell verarbeitet die Stimme von Anfang bis Ende, sondern mehrere Modelle arbeiten nacheinander: Zuerst wird die Stimme des Benutzers in Text umgewandelt, dann generiert das große Sprachmodell eine Antwort basierend auf diesem Text, und schließlich wird der Text wieder in Sprache umgewandelt.

Der Vorteil dieses Ansatzes ist, dass er einfach aufzubauen ist und große Sprachmodelle schnell in die Sprachinteraktion integriert werden können. Aber das Problem ist offensichtlich: Viele Informationen in der Stimme gehen bereits im ersten Schritt der „Sprach-zu-Text“-Umwandlung verloren.

Wenn das Modell eine Antwort generiert, sieht es oft nur einen bereinigten Text und nicht die gesamte Gesprächssituation. Die Tonlage, Pausen und Stimmungsänderungen des Benutzers gelangen nicht in das nachfolgende Sprachmodell. Da mehrere Modelle nacheinander arbeiten, summiert sich die Verzögerung – und der Sprachassistent wirkt wie jemand, der „einen Satz hört, kurz nachdenkt, dann einen Satz vorliest“.

Nach GPT-4o führte OpenAI Advanced Voice ein – und begann, native Audiomodelle zu verwenden, um Ton direkt zu verarbeiten und zu generieren.

Verglichen mit dem kaskadierten System war das ein deutlicher Fortschritt: Das Modell musste nicht erst alle Sprache in Text umwandeln, um dann wieder Sprache zu erzeugen. Es behielt mehr Audiodetails bei, die Verzögerung war geringer, und der Benutzer konnte natürlicher unterbrechen.

Aber Advanced Voice hat das rundenbasierte Prinzip noch nicht vollständig hinter sich gelassen.

OpenAI bezeichnet das vorherige Advanced Voice bei der Vorstellung von GPT-Live als rundenbasiertes Sprachmodell. Es war natürlicher als herkömmliche Sprachassistenten, musste aber trotzdem zuerst prüfen, ob der Benutzer fertig gesprochen hat, bevor es mit der Antwort begann.

Dieses Prinzip funktioniert bei Textchats problemlos: Der Benutzer drückt auf „Senden“ und teilt dem Modell klar mit, dass die Eingabe abgeschlossen ist. Bei Sprachchats gibt es diesen Button nicht – das Modell muss selbst entscheiden, wann es antworten soll.

Wenn der Benutzer eine Sekunde pausiert, hat er vielleicht fertig gesprochen – oder denkt nur nach. Wenn er einen Ton in die Länge zieht, formuliert er vielleicht gerade seine Gedanken – oder ist emotional aufgewühlt. Stimmen aus dem Hintergrund können fälschlicherweise als neue Eingabe erkannt werden.

Genau diese Grenze ist das schwierigste Problem für rundenbasierte Sprachmodelle.

Mit zwei architektonischen Verbesserungen löst GPT-Live dieses Problem.

Die erste Verbesserung: Das Sprachgespräch wird von einem „abwechselnden Reden“ zu Full-Duplex weiterentwickelt.

Es kann kontinuierlich zuhören, kontinuierlich bewerten und kontinuierlich Sprache generieren – anstatt erst nach Ende der Benutzereingabe in den Antwortmodus zu wechseln.

Anders gesagt: Das Modell nimmt an einem laufenden Gespräch teil, anstatt nur eine abgeschlossene Frage zu beantworten.

Laut offizieller Beschreibung kann GPT-Live pro Sekunde mehrere Interaktionsentscheidungen treffen: Weiterreden, weiter zuhören, pausieren, den anderen unterbrechen oder ein Tool aufrufen. Das ermöglicht natürlichere Interaktionen, ein besseres Timing und sogar Echtzeitübersetzungen.

Man sieht: Während der Benutzer spricht, gibt GPT-Live emotionale Rückmeldungen – genau wie bei einem langen Telefonat mit einem Freund, bei dem ständig kleine „Mhm“-Laute fallen.

Tatsächlich ist GPT-Live nicht das erste Sprachmodell, das die Full-Duplex-Architektur ausprobiert. Bereits vorher haben Modelle wie Moshi von Kyutai, PersonaPlex von Nvidia und zahlreiche akademische Modelle erforscht, wie KI gleichzeitig zuhören und sprechen kann, um Pausen, Unterbrechungen und kurze Rückmeldungen zu verarbeiten. Auch Googles Gemini Live hat – ohne explizit Full-Duplex zu betonen – bereits Echtzeit-Sprachgespräche und native Audiomodelle entwickelt, die in die gleiche Richtung gehen.

Das Besondere an GPT-Live ist, dass es die Fähigkeit, „gleichzeitig zuzuhören und zu sprechen“, in den Mainstream-Zugang ChatGPT bringt – und mit anderen Modellen von OpenAI zusammenarbeitet.

Das führt uns zur zweiten Verbesserung: Die Aufgabenteilung zwischen der Sprachinteraktionsebene und der Hintergrundintelligenz.

GPT-Live ist nicht nur ein „besser sprechendes Modell“, sondern fungiert als Echtzeit-Sprachinteraktionsebene von ChatGPT: Es ist verantwortlich für Zuhören, Sprechen, Warten, Unterbrechen, das Erkennen des richtigen Zeitpunkts für eine Antwort – und für die Aufrechterhaltung des Gesprächsrhythmus.

Bei Fragen, die Suche, Schlussfolgerung oder komplexe Aufgaben erfordern, kann es die Aufgabe an das leistungsstärkere Modell im Hintergrund weiterleiten.

Das Sprachmodell muss nicht die gesamte Intelligenzlast in jedem Satz tragen. Einfache Fragen werden schnell beantwortet, komplexe Aufgaben können an eine stärkere Schlussfolgerung übergeben werden. Die Gesprächsebene sorgt für Flüssigkeit, das Hintergrundmodell übernimmt das eigentliche Denken und die Aufgabenbearbeitung.

Diese Architektur ist nicht neu – aber nicht neu bedeutet nicht, dass sie nicht gut funktioniert.

Ich sehe es eher als Nachbesserung von OpenAI für ChatGPT Voice: Die bereits in der Branche vorhandene Echtzeit-Sprachinteraktion wird mit der Full-Duplex-Sprachfunktion kombiniert und in ChatGPT integriert.

02

Bewertungen und Rückmeldungen

Über die tatsächliche Leistung von GPT-Live lässt sich derzeit noch kein endgültiges Urteil fällen.

Bei jeder neuen Modellveröffentlichung ist OpenAI darin geübt, einen neuen Bewertungsstandard für die neuen Fähigkeiten zu definieren: Wenn das Modell schlussfolgern kann, wird die Schlussfolgerungsfähigkeit betont; wenn es Code schreiben kann, steht die Codierfähigkeit im Vordergrund.

Auch dieses Mal hat es eigene Bewertungsergebnisse vorgelegt – mit Tests zu Fähigkeiten wie Unterbrechungen, Warten, kurzen Rückmeldungen, Hintergrundgeräuschen und Sprachverständnis.

Laut diesem neuen Bewertungsstandard bevorzugten die Tester in 5- bis 10-minütigen Sprachgesprächen deutlich GPT-Live-1 und GPT-Live-1 mini.

Darüber hinaus gibt es weitere Ranglisten, die einen Blick wert sind.

OpenAI gibt an, dass GPT-Live-1 bei GPQA, BrowseComp und der internen Version von τ³-Voice Telecom das Advanced Voice Mode übertrifft – das entspricht den Bereichen wissenschaftliche Schlussfolgerung, Websuche und mehrstufige Kundenservice-Telefongespräche.

Aber das bedeutet nicht einfach, dass „das Sprachmodell GPT-Live selbst intelligenter geworden ist“. Denn bei Such-, Schlussfolgerungs- und komplexen Aufgaben übergibt GPT-Live die Arbeit an das dahinterliegende GPT-5.5.

Anders gesagt: Die offizielle Bewertung beweist eher, dass das neue ChatGPT Voice-System leistungsstärker ist – als dass die Sprachinteraktionsebene selbst einen grundlegenden Wandel vollzogen hat.

Und wie Sie vielleicht bereits bemerkt haben: Es wurde nur ein vertikaler Vergleich (mit den eigenen älteren Modellen) durchgeführt – ein horizontaler Vergleich mit Konkurrenten wurde überhaupt nicht erwähnt.

Wir wissen nicht, welche Position GPT-Live im gesamten Bereich der KI-Sprachassistenten einnimmt.

Die Bewertungen der Nutzer sind polarisiert.

Ein Teil der Nutzer sieht großes Potenzial