Lehrende und Studierende der Fudan-Universität haben in der Pre-A-Finanzierungsrunde über 1 Milliarde Yuan an Finanzmitteln eingesammelt und wollen, dass künstliche Intelligenz menschliche Emotionen und die jeweilige Situation der Menschen versteht.
Text | Sun Xiaowen, Hai Ruojing
Redaktion | Hai Ruojing
Sind die Freude, Wut, Trauer, Angst und Sorgen des Menschen für KI wichtig?
Wenn wir mit anderen sprechen, achten wir auf ihren Ton, Pausen und Gesichtsausdruck und denken während des Zuhörens über die wahren Gedanken des Gegenübers nach. Aber wenn die Kommunikation in Prompt-Texte umgewandelt wird, gehen viele emotionale Informationen verloren.
Moosi Intelligence, ein Modellunternehmen, das von Professor Qiu Xipeng (angestellter Professor der Fudan-Universität, Vizepräsident des Shanghai Chuangzhi College) gegründet wurde, legt seit jeher großen Wert auf die Fähigkeit von KI zur Emotionswahrnehmung.
Nach Ansicht von Li Shimin, CEO von Moosi Intelligence: Damit KI die Absicht des Benutzers versteht, muss sie das, was der Benutzer gesagt hat, was in der Umgebung passiert und die vorherigen Interaktionen miteinander verbinden. Emotionen sind ebenfalls ein solches Situationssignal. Wenn der Benutzer beispielsweise das Gespräch mit der KI plötzlich beendet, kann dies daran liegen, dass die Aufgabe abgeschlossen ist, aber auch daran, dass die KI falsch geantwortet hat und den Benutzer ungeduldig macht. Diese Rückmeldung steckt in der Stimme, dem Ton und einem breiteren Kontext.
Das von ihnen angestrebte „Situationsintelligenz“ bedeutet, dass die KI die Szene kontinuierlich verstehen kann: Wer ist anwesend, was ist vorher passiert, wie ist die aktuelle Umgebung, was tut die Person gerade und was wird sie wahrscheinlich als Nächstes tun. Die vollständige Umsetzung dieser intelligenten Wahrnehmung und Vorhersage birgt jedoch noch viele ungelöste Probleme. Daher hat Moosi Intelligence das Interaktionsmodell als Einstiegspunkt für die Engineering-Umsetzung gewählt – damit das Modell multimodale Inhalte wie Sprache und Videos verstehen und generieren kann und in Echtzeit interagieren kann. Sie haben dieses System MOSS Live genannt.
„Waves“ hat exklusiv erfahren, dass Moosi Intelligence kürzlich eine Pre-A-Finanzierung von über 1 Milliarde Yuan abgeschlossen hat, die gemeinsam von Huakong Fund angeführt wurde. Zu den Hauptinvestoren gehören Guokai Kechuang, Shanghai Science and Technology Innovation Fund, Xinwei Capital, Xuhui Capital, Zhuiguang Hard Technology Venture Capital, Lingang Ceyuan Fund usw. Alte Aktionäre wie Yuanhe Holdings, Shanghai Science and Technology Innovation Group unter Shanghai State Investment und Xinglian Capital haben weiterhin investiert. Die Mittel dieser Runde werden für die Forschung und Entwicklung des vollmodalen Echtzeit-Interaktionssystems und die globale kommerzielle Umsetzung verwendet.
Bereits Anfang 2023 führte das von Qiu Xipeng geführte Team das sprachliche Modell MOSS ähnlich wie ChatGPT ein, das schnell in die Hitlisten einstieg und breite Aufmerksamkeit erlangte. Damals luden Investmentinstitutionen sie ein, ein Unternehmen zu gründen, aber das Team trat nicht sofort aus der Universität aus.
Im selben Jahr entwickelte das Team das Ende-zu-Ende-Sprachgroßmodell SpeechGPT und versuchte, das Modell dazu zu bringen, Sprache zu verstehen und zu generieren und dabei Informationen wie Emotionen, Sprechgeschwindigkeit und Klangfarbe in der Stimme zu behalten. 2024 erforschte das von ihnen entwickelte AnyGPT die Möglichkeit, dass das Modell mehr verschiedene Arten von modalen Informationen verarbeiten kann.
Entlang dieses Forschungspfades wird das Ziel der Situationsintelligenz allmählich klar. Um dieses Ziel zu erreichen, muss das Modell in die reale Situation eintreten, um echte Rückmeldungen von Kunden vor Ort zu erhalten und das Modell zu optimieren. Ende 2024 gründete das Team schließlich das Spin-off-Unternehmen Moosi Intelligence, wobei Li Shimin, der Kernautor von SpeechGPT und junger Doktor der Fudan-Universität, als CEO fungiert.
Li Shimin erzählte uns, dass das Team von Moosi Intelligence in den letzten mehr als sechs Monaten mehr als 20 Modellversionen veröffentlicht und iteriert hat, einschließlich Sprachgenerierung, Audioverständnis, visuelles Verständnis usw. Er erzählte von seiner Erfahrung bei der Optimierung des Interaktionsmodells gemeinsam mit B2B-Kunden: Die Anforderungen in realen Situationen unterscheiden sich von akademischen Kennzahlen – Kunden fordern Genauigkeit, Geschwindigkeit und niedrige Kosten. Diese Einschränkungen verändern auch die Modellarchitektur und den Inferenzrahmen.
Was das derzeit beliebte Konzept AI for AI betrifft, ist er der Ansicht, dass dies weder eine neue Sache noch ein Wettbewerbsvorteil ist, da viele Teams in der Vergangenheit KI zur Beschleunigung der Modellentwicklung eingesetzt haben. Heute kann die Vorherrschaft eines einzelnen Modells schnell eingeholt werden. Aber wenn das Modell schnell in Produkte überführt werden kann und die Rückmeldungen aus realen Szenen zu Trainingsdaten für die nächste Runde werden, kann sich die Iterationsgeschwindigkeit des Systems deutlich unterscheiden.
Worin unterscheidet sich das von ihnen entwickelte Echtzeit-Interaktionsmodell von den Sprachassistenten, die wir bereits täglich nutzen? Welche Fähigkeiten fehlen noch, um die Situationsintelligenz zu erreichen? Welche Art von KI-Modell wünschen sich Endkunden wie intelligente Fahrerkabinen? Warum konnte dieses erst zwei Jahre alte Unternehmen eine Finanzierung von 1 Milliarde Yuan erhalten?
Im Folgenden ist das Gespräch zwischen „Waves“ und Li Shimin, CEO von Moosi Intelligence, nach redaktioneller Bearbeitung aufgeführt:
KI dazu bringen, die „Szene“ zu verstehen
„Waves“: Moosi betont ständig die „Situationsintelligenz“. Wie ist das „Situation“ hier genau zu verstehen?
Li Shimin: Das Situation, das wir verstehen, entspricht dem englischen Begriff „Context“, ist aber allgemeiner als das „Kontext“, das in Großmodellen häufig genannt wird.
Die Informationen in der realen physischen Umgebung fließen tatsächlich kontinuierlich ein. Wer ist hier, welche Dinge gibt es, was ist gerade passiert, wie ist die raumzeitliche Beziehung zwischen Menschen und Objekten – all das zählen wir zur Situation.
Es gibt ein sehr einfaches Beispiel: Jeder hat schon einmal den Schlüssel gesucht. Wenn du die KI plötzlich fragst: „Wo habe ich meinen Schlüssel hingelegt?“, und die KI nur deinen aktuellen Frame sehen kann, kennt sie die Antwort natürlich nicht. Aber wenn sie den Videostrom der Umgebung kontinuierlich empfängt, kann sie möglicherweise sehen, wo du den Schlüssel nach dem Eintreten hingelegt hast, ob du danach gegangen bist und ob sich das Objekt bewegt hat.
Eine KI mit Situationsintelligenz beantwortet Fragen auf der Grundlage der zuvor kontinuierlich angesammelten Fähigkeit zur Situationswahrnehmung, nicht auf der Grundlage der Informationen, die sie zum Zeitpunkt der Frage erhält.
„Waves“: Das klingt wie ein mitlaufender KI-Assistent. Heute erwarten die Menschen nicht nur menschenähnliche Gespräche, sondern hoffen auch, dass KI wie ein Mensch in der physischen Welt autonomer handeln kann.
Li Shimin: Wir haben uns dafür entschieden, interaktive Fähigkeiten für intelligente Endgeräte bereitzustellen. Die zugrundeliegende Logik besteht darin, dass KI wie ein Mensch mit der physischen Welt interagieren soll. In der realen Umgebung machen Menschen Pausen, korrigieren ihre Aussagen; Umgebungsgeräusche, Bilder und Zustände der Umgebung ändern sich ständig.
Letztendlich wird KI definitiv in Endgeräten wie Brillen, Autos, Spielzeugen und Robotern eingesetzt. Dort werden Menschen nicht jedes Mal zuerst einen Prompt fertigstellen und der KI vollständig mitteilen, was sie wollen.
Echte Situationsintelligenz erfordert eine Duplex-Interaktion, bei der Ein- und Ausgabe parallel ablaufen. Das Modell kann gleichzeitig sehen und zuhören und Feedback geben, während es Informationen empfängt. Daher wird die nächste Generation von KI von der „Beantwortung von Fragen“ zu „kontinuierlicher Anwesenheit vor Ort“ übergehen, die Menschen und Umgebung kontinuierlich verstehen und bei Bedarf reagieren und handeln kann. Was wir jetzt mit der vollmodalen Echtzeit-Interaktion machen, dient genau dazu, dieses Ziel zu erreichen.
„Waves“: Können Sie anhand eines Beispiels erläutern, worin sich die vollmodale Echtzeit-Interaktion von den bekannten KI-Sprachassistenten unterscheidet?
Li Shimin: Ein echtes Interaktionssystem muss lösen, wie Informationen gleichzeitig eintreten, sich gegenseitig beeinflussen und bei Szenenänderungen kontinuierlich aktualisiert werden können.
Wenn beispielsweise jemand im Auto sagt „Mir ist etwas kalt“, endet die einfache Spracherkennung, sobald diese drei Wörter erkannt wurden. Aber echte Interaktionsintelligenz muss wissen, wie hoch die Temperatur im Auto gerade ist, wer spricht, in welchem Zustand sich das Fahrzeug befindet und welche Präferenzen der Sprecher in der Vergangenheit hatte. Schließlich muss beurteilt werden, ob dieser Satz nur ein Gefühl beschreibt oder ob er von der KI erwartet, die Klimaanlage anzupassen.
Wir kümmern uns wirklich darum, ob die KI die Szene verstehen kann.
„Waves“: Das Team von Professor Qiu Xipeng wurde erstmals 2023 mit dem Sprachmodell MOSS im Internet bekannt. Später wandte es sich dem „Sprachverständnis- und Generierungsmodell“ zu und fügte später Videos hinzu. All das dient dem Ziel, der Situationsintelligenz näher zu kommen, oder?
Li Shimin: Bei der Gründung von Moosi haben wir die Situationsintelligenz so beschrieben: KI kann komplexe physische Situationen vollständig wahrnehmen und verstehen und ihre Modellfähigkeiten während des Interaktionsprozesses kontinuierlich verbessern.
Anfangs haben wir den ersten Teil stärker betont. Die natürlichste Interaktionsweise zwischen KI und der physischen Welt ist Sprache. Deshalb haben wir mit der Sprache angefangen, damit das Modell zuerst den Ton und die Emotionen des Benutzers verstehen kann. Wenn der Benutzer tippt und sich in Text ausdrückt, gehen Informationen wie Ton und Emotionen verloren.
Im Jahr 2025 haben wir die Fähigkeiten unseres Sprachmodells auf ein relativ führendes Niveau gebracht und begonnen, das „visuelle Verständnis“ zu integrieren, damit das Modell sowohl zuhören als auch die physische Welt klar sehen kann.
Jetzt betonen wir den zweiten Teil stärker: „die Fähigkeit des Modells während der Interaktion kontinuierlich zu verbessern“. Da sich die großen grundlegenden Sprachmodelle und multimodalen Modelle allmählich reifen, treiben wir auch eine umfassendere multimodale Interaktion voran.
Interaktionsintelligenz ist ein wichtiger Einstiegspunkt für die technische Umsetzung. Wenn die KI die Situation nicht versteht, zeigt sie Fehler in der Interaktion auf. Die Entwicklung von Interaktionsmodellen bedeutet, Situationsintelligenz in das System zu integrieren.
„Waves“: Wie weit sind die aktuellen multimodalen Interaktionsmodelle bereits? Sie haben kürzlich MOSS Live vorgestellt – wie ist das genau zu verstehen?
Li Shimin: In den letzten etwa sechs Monaten haben wir nacheinander mehr als 20 Modellversionen veröffentlicht und iteriert, die Bereiche wie Sprachgenerierung, Audioverständnis, Spracherkennung, visuelles Verständnis und Inhaltsgenerierung abdecken und werden auch kontinuierlich Open Source gestellt.
Einige Modelle haben bei bestimmten Aufgaben bereits sehr gute Ergebnisse erzielt. Beispielsweise kann MOSS-Audio nicht nur verstehen, was der Benutzer gesagt hat, sondern auch die Emotionen, Sprechgeschwindigkeit und den Zustand des Sprechers analysieren, sogar feine Zittern in der Stimme erkennen;
Das Mehrsprecher-Spracherkennungsmodell MOSS-Transcribe-Diarize-0.9B übertrifft bei bestimmten Aufgaben die Wirkung von Modellen mit größerer Parameteranzahl.
Jetzt befinden wir uns in der Phase, viele einzelne Fähigkeiten zu einem System zu verbinden. Wir verstehen MOSS Live lieber als ein Echtzeit-Interaktionssystem. Dieses System umfasst sowohl Interaktionsmodelle als auch aktive Modelle. Das Interaktionsmodell schaut, hört und spricht kontinuierlich, um die aktuelle Person und Umgebung zu verstehen; das aktive Modell ist für komplexere Schlussfolgerungen, Tool-Aufrufe und Aufgabenausführung verantwortlich.
„Waves“: Warum entwickelt Moosi auch Videogenerierungsmodelle? Diese Branche ist sehr wettbewerbsintensiv.
Li Shimin: Das muss zusammen mit dem Videoverständnis betrachtet werden. In unserem Technologiesystem fördern sich Verständnis und Generierung gegenseitig.
Beispielsweise erfordert das Training eines Videogenerierungsmodells, dass die Inhalte im Video zuerst genau beschrieben und markiert werden – das hängt von der Fähigkeit des Verständnismodells ab. Das Verständnismodell kann auch helfen, die Qualität der generierten Inhalte zu beurteilen; umgekehrt hilft das Ergebnis des Generierungsmodells, die Fähigkeit des Verständnismodells zu überprüfen. Diese beiden Dinge haben viele gemeinsame Grundlagen auf unterster Ebene, einschließlich Audio- und Videodaten, Datenverarbeitungs-Pipelines sowie Infrastruktur für Training und Inferenz. Bei der Entwicklung der Videogenerierung haben wir auch die zuvor angesammelten Fähigkeiten im Bereich der Sprach- und Audio-Video-Verständnis wiederverwendet.
Daher werden wir Verständnis und Generierung gemeinsam iterieren, um schließlich das Ziel der vollmodalen Interaktion zu erreichen.
„Waves“: Was sind die größten Schwierigkeiten bei der Umsetzung der idealen KI-Situationsintelligenz?
Li Shimin: Die Kernpunkte sind mehrere. Erstens die kontinuierliche Verständnisfähigkeit für Audio- und Videoströme und die Duplex-Interaktion. Das Modell soll auf der Seite der Informationseingabe und der Ausgabe parallel arbeiten und gleichzeitig sehen, zuhören und sprechen können.
Zweitens die Gedächtnisfähigkeit: Sie umfasst nicht nur historische Bilder, sondern kann auch langfristige Informationen während des Interaktionsprozesses kodieren und diese während der Interaktion aktualisieren.
Nachdem diese Informationen erhalten wurden, muss auch die Absicht des Benutzers verstanden werden, bevor Handlungen geplant und Ziele zerlegt werden. Aktuelle Sprachmodelle und Agenten haben diesen Teil bereits gut gemeistert.
Schließlich muss auch berücksichtigt werden, wie man sich aus den Rückmeldungen realer Interaktionen verbessert. Das unterscheidet sich von Codierungsaufgaben. Bei Codierungsaufgaben kann das Ergebnis direkt daran beurteilt werden, ob der Code korrekt ausgeführt wird. Im wirklichen Leben sind die Rückmeldungen jedoch nicht so eindeutig. Der Benutzer sagt nicht unbedingt direkt „Du hast falsch gelegen“, sondern wird wütend oder schweigt einfach. Dann muss das Modell mehr Situationsinformationen kombinieren, um dies zu unterscheiden.
Diese Probleme sind in aktuellen Interaktionsmodellen noch nicht gut gelöst.
Benutzeranforderungen verändern KI-Modelle
„Waves“: Sie haben bereits 2023 das Ende-zu-Ende-Sprachmodell SpeechGPT entwickelt. Wie war die externe Resonanz damals?
Li Shimin: Die Leute fanden das Paradigma sehr neu, aber es gab auch Zweifel.
Damals war der offensichtliche Vorteil von Ende-zu-Ende-Sprache die Verzögerung zu reduzieren und mehr nicht-textliche Informationen in der Sprache zu behalten. Aber in tatsächlichen Benutzerszenen hatte es auch offensichtliche Nachteile: Das Modell hat eine große Parameteranzahl, die Bereitstellungskosten sind hoch; um die Verzögerung zu senken, ist das Ergebnis bei einigen bestimmten Aufgaben sogar nicht ideal. Daher hofften einige Kunden stattdessen, dass wir ein intelligenteres dreistufiges Schema entwickeln, um ihre praktischen Probleme zuerst zu lösen.
Erst als G