Google veröffentlicht überraschend das „leistungsstärkste Diktiermodell“: Ein überholtes Produkt im Zeitalter der Agenten oder ein entscheidendes Puzzleteil?
Google veröffentlicht das angeblich bislang leistungsstärkste Sprach-zu-Text-Modell
Am 26. August hat Google die neue Generation des Sprach-zu-Text-Modells Gemini 3.5 Transcribe veröffentlicht. Es kann Füllwörter wie „ähm“, „ach“, Versprecher und wiederholte Ausdrücke während der Transkription automatisch verarbeiten und Satzzeichen, Groß-/Kleinschreibung sowie Textformat ergänzen.
Google bezeichnet es als „das bislang genaueste Sprach-zu-Text-Modell“. Google-CEO Pichai hat dieses Modell auf X angekündigt.
Im Gegensatz zu herkömmlichen Spracherkennungsmodellen, die nur die wörtliche Aufzeichnung verfolgen, zielt Gemini 3.5 Transcribe darauf ab, die ursprüngliche Stimme direkt in einen Text umzuwandeln, der dem fertigen Manuskript nahekommt, und den nachfolgenden Arbeitsaufwand der Nutzer bei der Organisation von Sitzungsprotokollen, Interview-Stenografien und Anrufinhalten zu reduzieren.
Wenn der Nutzer beispielsweise sagt „Wir halten das Meeting am Dienstag – nein, verschieben es auf Mittwoch“, kann das Modell verstehen, dass der zweite Teil eine Korrektur des vorherigen Inhalts ist, und das richtige Ergebnis im endgültigen Text beibehalten, anstatt den gesamten Versprecher mechanisch aufzuzeichnen.
Gemini 3.5 Transcribe unterstützt mehr als 85 Sprachen und regionale Varianten und kann die aktuell verwendete Sprache automatisch erkennen. Nutzer müssen die Sprache nicht im Voraus einstellen. Selbst wenn die Sprache in einem Satz oder im selben Dialog gewechselt wird, kann das Modell die Transkription fortsetzen.
Diese Fähigkeit richtet sich hauptsächlich an Szenarien wie transnationale Sitzungen, mehrsprachige Interviews, Kundenserviceanrufe und Situationen, in denen chinesische und englische Fachbegriffe gleichzeitig gemischt vorkommen.
In echten Aufnahmen sind es oft nicht nur Akzente, die die Transkriptionsgenauigkeit beeinträchtigen, sondern auch Hintergrundgeräusche, gleichzeitiges Sprechen mehrerer Personen und Fachvokabular. Google gibt an, dass Gemini 3.5 Transcribe für laute Umgebungen, verschiedene Akzente und mehrsprachige Dialoge optimiert wurde und die Erkennungsfähigkeit für gemischte Informationen aus Buchstaben und Zahlen wie Telefonnummern, Postleitzahlen und Bestellnummern verbessert hat.
Gemini 3.5 Transcribe kann Echtzeit-Sprachwechsel und nahtlose Streaming-Transkription verarbeiten
Das Modell unterstützt auch ein benutzerdefiniertes Vokabular. Entwickler können maximal 1000 Fachbegriffe, Abkürzungen, Personennamen oder Produktnamen angeben, um das Modell anzuleiten, diese Inhalte vorrangig zu erkennen. Google gibt an, dass in der praktischen Nutzung das Ergebnis im Allgemeinen besser ist, wenn das benutzerdefinierte Vokabular auf weniger als 100 Wörter beschränkt wird.
Mit der Transkriptionsfunktion von Gemini 3.5 werden Sprachunflüssigkeiten über die intelligente Transkriptionsfunktion beseitigt.
Dies kann für technische Interviews praktischer sein. Beispielsweise können Nutzer im Voraus Kubernetes, BigQuery sowie Unternehmens- und Produktnamen hinzufügen, um die Situation zu reduzieren, in der das Modell Fachbegriffe als Wörter mit ähnlicher Aussprache erkennt.
Gemini 3.5 Transcribe bietet auch die Funktion „Sprechertrennung“, die bis zu 8 Sprecher erkennen und verschiedene Sprachsegmente den entsprechenden Sprecheretiketten zuordnen kann. Google weist jedoch gleichzeitig darauf hin, dass die Erkennung von mehr als drei Sprechern derzeit noch eine experimentelle Fähigkeit darstellt.
Für voraufgezeichnete Audios kann das Modell auch wörtliche Zeitstempel ausgeben, die die Start- und Endzeit jedes Wortes in der Aufnahme angeben, was Nutzern die Erstellung von Untertiteln, die Suche nach der ursprünglichen Aufnahme oder die Lokalisierung des Originalzitats im Interview erleichtert. Nach der Aktivierung der Sprechertrennung oder der wörtlichen Zeitstempel beträgt die maximale Länge einer einzelnen Aufnahme 30 Minuten; die normale Audiotranskription unterstützt eine maximale Dauer von 1 Stunde pro Vorgang.
Die Transkriptionsfunktion von 3.5 bietet Transkriptionen mit Zuordnung zu mehreren Sprechern und wortgenauen Zeitstempeln.
Die Wortfehlerrate der Streaming-Transkription beträgt 4,0 %
Laut den von Google zitierten Bewertungsdaten von Artificial Analysis beträgt die durchschnittliche Wortfehlerrate von Gemini 3.5 Transcribe in Echtzeit-Streaming-Szenarien 4,0 % und die durchschnittliche Wortfehlerrate bei der Verarbeitung nicht gestreamter Aufnahmen 2,6 %.
Die Wortfehlerrate wird üblicherweise verwendet, um den Anteil von ersetzten, gelöschten und hinzugefügten Wörtern im Spracherkennungsergebnis zu messen. Ein niedriger Wert bedeutet, dass das Transkriptionsergebnis der ursprünglichen Stimme näher kommt. Die Verteilung von Sprache, Geräuschen und Akzenten in verschiedenen Testsätzen kann jedoch das Endergebnis beeinflussen. Diese Gruppe von Daten kann die Genauigkeit des Modells unter allen Aufnahmebedingungen nicht direkt darstellen.
Im Vergleich zu Googles vorherigem Sprach-Transkriptionsmodell Chirp 3 wurde die endgültige Transkriptionsverzögerung von Gemini 3.5 Transcribe um 70 % verkürzt. Die Echtzeitversion kann die Stimme kontinuierlich über WebSocket empfangen und phasenweise Transkriptionsergebnisse mit einer Verzögerung von weniger als einer Sekunde zurückgeben.
Google bietet diesmal zwei Versionen an: `gemini-3.5-transcribe-live` richtet sich an Echtzeituntertitel, Spracheingabe und Voice Agent; `gemini-3.5-transcribe` wird zur Verarbeitung voraufgezeichneter Audios wie Interviewaufnahmen, Sitzungen und Anrufprotokolle verwendet und unterstützt Sprechertrennung und wörtliche Zeitstempel.
Entwickler können dieses Modell derzeit über die Gemini API in Google AI Studio sowie die Gemini Enterprise Agent Platform aufrufen. Der Gesamtpreis für die Echtzeit-Transkription beträgt etwa 0,009 US-Dollar pro Minute, die nicht Echtzeit-Transkription etwa 0,005 US-Dollar pro Minute, und es wird gleichzeitig ein kostenloses Testkontingent angeboten.
Sprachtranskription beginnt sich von „Diktieren“ zu „Organisieren“ zu entwickeln
Das Bemerkenswerteste an Gemini 3.5 Transcribe ist nicht nur die weitere Senkung der Wortfehlerrate, sondern dass Sprachtranskriptionswerkzeuge das Ausgabeziel ändern.
Die automatische Spracherkennung in der Vergangenheit verfolgte hauptsächlich die treue Aufzeichnung: Was der Sprecher sagte, versuchte das System wörtlich zu notieren. Aber echte gesprochene Sprache ist voll von Füllwörtern, Wiederholungen, Pausen, vorläufigen Korrekturen und unvollständigen Sätzen. Selbst wenn die Erkennung vollständig korrekt ist, kann das Ausgabenergebnis oft nicht direkt gelesen werden.
Die von Gemini 3.5 Transcribe hinzugefügte Smart Transcription bereinigt Füllwörter und wiederholte Inhalte aktiv, verarbeitet Selbstkorrekturen gemäß dem Kontext und wandelt gesprochene Sprache in Text mit Satzzeichen und Struktur um. Es unterstützt auch die „inverse Textnormalisierung“, beispielsweise die direkte Umwandlung des englisch diktierten „twenty six million dollars“ in „$26M“.
Das bedeutet, dass das Modell nicht mehr nur eine ursprüngliche Stenografie liefert, sondern einen Text, der vorläufig organisiert wurde.
Diese „intelligente Organisation“ bringt jedoch auch neue Risiken mit sich. Für Sitzungsprotokolle und tägliche Spracheingaben wirkt sich das Löschen von Füllwörtern normalerweise nicht auf die Informationen aus. Aber in Szenarien wie Nachrichteninterviews, Rechtserhebung und Situationen, die eine wörtliche Überprüfung erfordern, kann das automatische Löschen wiederholter Ausdrücke oder das Umschreiben von Zahlen die ursprüngliche Formulierung des Sprechers verändern.
Aus diesem Grund bietet Gemini 3.5 Transcribe gleichzeitig den Verbatim-Modus an, der es Entwicklern ermöglicht, einen Text zu erhalten, der der wörtlichen Aufzeichnung näher kommt. Bei der praktischen Nutzung sollte die Aktivierung der Füllwortbereinigung und der intelligenten Formatierung je nach Szenario entschieden werden, anstatt „ordentlicher“ einfach als „genauer“ zu betrachten.
Derzeit wird diese Technologie auch in Googles eigene Produkte eingeführt. Die Rambler-Funktion von Gboard für Android kann diktierte Inhalte in formatierten Text umwandeln und Nutzern erlauben, die Formulierung und den Stil per Sprache weiter zu ändern; in der Gemini-Anwendung für macOS kann das Modell Dateinamen und aktuelle Dokumente in Kombination mit dem Bildschirmkontext erkennen und andere Gemini-Modelle über Sprachbefehle aufrufen, um Dateizusammenfassungen, Textumschreibungen und Bilderstellung abzuschließen.
Aus dieser Perspektive ist Gemini 3.5 Transcribe nicht nur ein neues Diktiermodell. Google verwandelt die Sprachtranskription in den Eingang eines KI-Betriebssystems: Nutzer müssen die Sprache nicht zuerst in Standardanweisungen organisieren, sondern können ihre Anforderungen direkt mit Pausen, Versprechern und vorläufigen Änderungen aussprechen, dann lässt das Modell die tatsächliche Absicht verstehen und führt die Aufgabe weiter aus.
Google kann die Situation nicht richtig einschätzen?
In dem Umfeld, in dem die Branche multimodale und Coding-Agenten intensiv entwickelt, scheint es auf den ersten Blick, dass Google zu diesem Zeitpunkt separat ein Sprach-zu-Text-Modell veröffentlicht, leicht den Eindruck erweckt, „noch Probleme der vorherigen Generation zu lösen“. Daher bewerten einige Nutzer auf X, dass Google „die Situation nicht durchschauen kann“.
Man kann sagen, dass es im Internet sehr viele negative Stimmen gibt, die nicht optimistisch sind.
Eine schärfere Kritik stammt von einem Gemini-Ultra-Nutzer.
Er gibt an, dass er das Upgrade bereits bereut, weil die sogenannten zusätzlichen Funktionen nur sinnvoll sind, wenn die Modellfähigkeiten und die Produktiteration wirklich mit dem Branchenfortschritt Schritt halten. Er hatte einst gehofft, dass Google diesen Wettbewerb gewinnen kann, und dieses Vertrauen stammte zu einem großen Teil von Demis Hassabis und dem von ihm geführten DeepMind. Aber seit Demis nicht mehr für den täglichen Betrieb von DeepMind verantwortlich ist, hat er das Gefühl, dass „die Seele von DeepMind gegangen ist“. Seiner Meinung nach steht Google nach dem Verlust der klaren Forschungsrichtung und des Leiters nur noch vor einem nackten Wettbewerb der Modellfähigkeiten, und es fällt in diesem Wettbewerb derzeit zurück.
Die Veröffentlichung von Gemini 3.5 Transcribe verstärkt diese Enttäuschung weiter: Wenn Kollegen stärkere Agenten, Ende-zu-Ende-Sprachinteraktion und Ausführung komplexer Aufgaben betonen, stellt Google ein Sprach-zu-Text-Modell in den Vordergrund, was zahlenden Nutzern leicht das Gefühl gibt, dass der Produktrhythmus und der Branchenfokus fehl am Platz sind. Es ist darauf hinzuweisen, dass dies mehr die Unzufriedenheit der Nutzer mit Googles gesamten KI-Fortschritten und Produkterfahrungen widerspiegelt. Man kann nicht allein anhand eines Transkriptionsmodells beurteilen, dass sein technischer Weg bereits zurückgefallen ist.
Ist Google also wirklich in einer so schlechten Situation, wie die oben genannten Netznutzer sagen?
Tatsächlich ist das Ziel von Gemini 3.5 Transcribe nicht, das Diktierwerkzeug neu zu erfinden, sondern die grundlegendste und am leichtesten zu übersehende Schicht zu ergänzen, bevor Sprachagenten in die Produktionsumgebung eintreten: dass Maschinen die menschliche Sprache zuerst stabil verstehen.
In Szenarien wie Kundenservice, Sitzungen, Interviews und medizinischen Aufzeichnungen wirken sich Hintergrundgeräusche, gleichzeitiges Sprechen mehrerer Personen, vorläufige Korrekturen, zwischenzeitlicher Sprachwechsel und komplexe Informationen wie Bestellnummern immer noch direkt auf die nachfolgende Ausführung durch den Agent aus.
Das automatische Entfernen von „ähm, ach“, das Verstehen von Selbstkorrekturen und das Ausgeben von formatiertem Text bedeutet tatsächlich, dass die Stimme von der ursprünglichen Eingabe zu einem strukturierten Kontext organisiert wird, der für die weitere Verarbeitung durch das Modell geeigneter ist.
Daher ist dieses Produkt in der Erzählung nicht so attraktiv wie Ende-zu-Ende-Sprachmodelle. Der Autor glaubt, dass es nicht unbedingt veraltet ist.
Das eigentliche Problem besteht darin, dass der Wert wirklich begrenzt ist, wenn Google es nur als einen isoli