Feng Dagang im Gespräch mit Tan Dai von Volcano Engine: 1 Yuan für 284 Bilder, aber Doubao hat nicht vor, in den Wettbewerb zu gehen.
Da das Jahr 2024 sich dem Ende nähert, bleibt der Markt für große Modelle weiterhin in vollem Gange.
Auf der einen Seite gibt es immer wieder Nachrichten über hohe Finanzierungen großer Start-ups, sowohl im Inland als auch international, wobei das AI-Datenanalyse-Unternehmen Databricks mit einem Finanzierungsziel von über 70 Milliarden RMB in einer einzigen Runde den weltweit größten Rekord für AI-Start-ups aufgestellt und OpenAI übertroffen hat.
Auf der anderen Seite, angeführt von der OpenAI-Saisonveröffentlichung, verzeichnen neue Modelle und Produkte weltweit Ende des Jahres ein Welle von Aktualisierungen. Erst vor kurzem, am 18. Dezember, präsentierte Volcano Engine auf der FORCE Winter 2024 Power of Originality Conference eine Reihe neuer Upgrades der Doubao-Großmodell-Familie.
Zum Beispiel wurde das Doubao Pro als das stärkste Sprachmodell von ByteDance zu einem großen Versions-Upgrade aktualisiert, mit einer um 32 % verbesserten Gesamtaufgabenverarbeitungsfähigkeit seit Mai und in vollem Einklang mit GPT-4o, wobei die Nutzungskosten nur ein Achtel von Letztgenanntem betragen.
Das neu eingeführte Doubao-Modell für visuelles Verständnis kann nicht nur visuelle Inhalte präzise erkennen, sondern verfügt auch über hervorragende Verständnis- und Schlussfolgerungsfähigkeiten und kann auf Grundlage von Bildinformationen komplexe logische Berechnungen durchführen, Aufgaben wie Analyse von Grafiken, Codebearbeitung, Beantwortung von Fachfragen usw. erledigen und feinfühlige visuelle Beschreibungs- und Kreativfähigkeiten bieten.
Besonders auf dieser FORCE-Konferenz verkündete Volcano Engine, dass der Preis für den Input von Doubao's Modell für visuelles Verständnis lediglich 0,3 Cent pro tausend Tokens beträgt, was bedeutet, dass man für einen Yuan 284 Bilder in 720P aufbereiten kann, was 85 % günstiger als der Branchenpreis ist und in der Branche für viel Diskussion gesorgt hat.
Tan Dai, Präsident von Volcano Engine, sagte zu 36Kr, dass selbst bei diesem Preis die Gewinnspanne von Volcano Engine tatsächlich sehr beträchtlich sei. Der niedrige Preis sei keine marktstrategische Subventionierung, sondern werde durch algorithmische, ingenieurtechnische und hardwarebezogene Innovationen ermöglicht, die einen gemeinsamen Fortschritt von der Systemarchitektur bis hin zu den Anwendungen darstellten. Volcano Engine wolle Unternehmen und Entwicklern helfen, die Technologie großer Modelle einfacher und kostengünstiger zu nutzen, um die Verbreitung von KI-Technologie zu fördern und den Kuchen zu vergrößern.
Gemäß den Daten von Volcano Engine verzeichnete das Doubao-Großmodell in den letzten drei Monaten eine 39-fache Zunahme der Anrufzahlen in Informationsverarbeitungsszenarien, eine 16-fache Zunahme in Kundenbetreuungs- und Verkaufsszenarien, eine 13-fache Zunahme in Hardware-Assistent-Szenarien und eine 9-fache Zunahme in AI-Werkzeugszenarien mit vielen Partnern in den Bereichen B-end Automotive, Finanzen und Bildung wie Mercedes-Benz, GAC Group, Huatai Securities, China Merchants Bank und Zhejiang University.
Seit der Einführung von ChatGPT Ende November 2022 brennt das Feuer der großen Modelle weltweit seit über zwei Jahren. Zwei Jahre später hat sich die Marktlage großer Modelle dramatisch verändert, besonders im B-to-B-Bereich, wo immer mehr Unternehmen von der Filterblase großer Modelle umgesattelt haben auf die Bewertung realer Anwendungsszenarien und wirtschaftlichen Werts.
Wie hat Volcano Engine durch technologische Innovation die Kosten bei der Implementierung großer Modelle reduziert? Welche Auswirkungen und Chancen haben große Modelle auf die Cloud-Computing-Industrie? Welches AI-native Cloud-Computing-Framework erwartet uns im nächsten Jahrzehnt? Während der FORCE Winter 2024 Power of Originality Conference führte Tan Dai, Präsident von Volcano Engine, ein tiefgehendes Gespräch mit Feng Dagang, CEO von 36Kr, über diese heißen Fragen der Branche.
Hier das Gespräch.
01. Was war das wichtigste im letzten Jahr?
Feng Dagang: Bei unseren Fragen heute geht es um den Kern, den wir entwickelt haben, aber wir haben Doubao auch eine Version machen lassen, die ich ziemlich interessant finde. Zum Beispiel die erste Frage des heutigen Tages: Wir wissen alle, dass Sie eine tiefe Expertise und umfangreiche Erfahrung im technischen Bereich haben. Was hat Sie damals dazu veranlasst, von einem Giganten wie Baidu zu ByteDance zu wechseln und die Verantwortung für die Erschließung des Unternehmensmarktes bei Volcano Engine zu übernehmen?
Tan Dai: Diese Erfahrung war äußerst bedeutend. Bei Baidu habe ich immer die Rolle eines technischen Leiters übernommen und dabei nach und nach neue Aufgaben übernommen.
(Vom Technischen zum Marktausbau zu wechseln) ist keine leichte Aufgabe. Als rein technischer Mitarbeiter wird oft angenommen, dass man weiterhin technisch arbeiten sollte, wenn man keine Erfahrung im Management großer Teams und kein Geschäftshintergrund hat. Andererseits könnte der fehlende direkte Bezug dazu führen, dass wir neue und andere Ansätze als unsere Vorgänger finden, und ich hatte das Glück, bei Byte die Gelegenheit dazu zu bekommen.
Feng Dagang: Verbringen Sie heute mehr Zeit mit internem Management oder externer Konkurrenz?
Tan Dai: Ich denke nicht, dass wir das interne und externe separate betrachten sollten. Oder man könnte es so verstehen: Zunächst müssen wir das Problem der Produktivität lösen, und dann auch die Probleme der Produktionsbeziehungen, die sowohl interne als auch externe Beziehungen umfassen.
Die wesentliche Aufgabe eines Managers besteht darin, zunächst sicherzustellen, dass die Schlüsselprobleme gelöst werden, und dann, dass Probleme, die nur er selbst lösen kann, anzugehen. Es gibt Aufgaben, die nicht zwingend gelöst werden müssen, weshalb man nicht zu viel Energie darauf verwenden sollte, sondern sich auf die Probleme konzentrieren sollte, die nur auf dieser Ebene gelöst werden können.
Feng Dagang: Was waren die Aufgaben, die Sie unbedingt im letzten Jahr lösen mussten?
Tan Dai: Im letzten Jahr habe ich hauptsächlich daran gearbeitet, wie man das Modell für B-to-B gut umsetzt, sowohl intern als auch extern. Bei internen Produkten geht es nicht nur darum, wie man die Modelleffizienz steigert, sondern auch darum, wie die Kosten der technischen Architektur gesenkt und die Benutzerfreundlichkeit erhöht werden können; dies gilt auch extern: Wie kann man die Nutzergemeinschaft aufbauen und ihr Feedback einholen, um die Produktleistung zu verbessern. Darüber hinaus muss man klären, welches Dienstleistungsteam, welches Format und welche Organisationsstruktur man implementieren soll, um für den Kunden einen guten Service zu gewährleisten und eine passende Verbindung herzustellen.
Es gibt viele Unsicherheiten in diesem Bereich; das Produkt ist noch im Stadium 0-1, und die Anforderungen der Kunden sind ungewiss, während die Modellfähigkeiten schnell fortgeschritten sind. Im Anschluss an Markt-, Technik- und Produktabschlüsse muss man außerdem die passende organisatorische Struktur entwickeln. Diese Dinge sind für mich am wichtigsten und nur ich kann sie lösen.
02. Vor großen Modellen waren alle B/C-Ende-Technologien getrennt
Feng Dagang: Was denken Sie über den aktuellen Wettbewerb zwischen großen Modellen für B-to-B und B-to-C?
Tan Dai: Große Modelle unterscheiden sich von allen früheren Technologien in dem Sinne, dass sie früher bei B-to-B und B-to-C voneinander getrennt waren. Beispielsweise ist die Nutzung von TikTok nicht gleichzusetzen damit, dass Einzelpersonen Volcano Engine benutzen. Beim Einkauf auf Taobao benutzt man nicht gleich Alibaba Cloud – die beiden Dinge sind völlig unterschiedlich. Aber heute haben große Modelle bei B-to-B und B-to-C noch eine hohe Schnittmenge, die Fähigkeiten hinter den Anwendungen stammen im Wesentlichen aus Modellen. Die große Modelltechnologie unterscheidet sich im Kern nicht so stark wie früher in C und B.
Aber das hat auch seine Vorteile. In der B-to-B-Welt war eine der wichtigsten Aspekte die Trennung von Entscheidungsträgern und Nutzern. Wir wussten nicht, wie die Nutzer die Produkte nutzen. Viele CRM- und ERP-Produkte sind so gestaltet. Die Entscheidung wird nicht von den echten Nutzern getroffen – sie können es nicht erfühlen, sondern erfahren es über PPTs und Anwendungsbeispiele anderer Benutzer.
Aber große Modelle sind anders – zunächst kann man sie erleben und zweitens sind Entscheidungsträger und Nutzer in vielen Kontexten deckungsgleich. Bei jedem Kundenkontakt, den ich habe, einschließlich Vorsitzender und CEOs, schlage ich als Erstes vor, dass sie die Doubao-App herunterladen, weil sie als Verantwortliche und Entscheidungsträger ein Gefühl für KI haben und täglich den Dienst nutzen können, um zu verstehen, welche Unternehmensumgebungen durch große Modelle optimiert werden können.
Ich denke, dass sich nicht nur durch die großartigen Modelltechnologie selbst Veränderungen ergeben, sondern auch das Geschäftsmodell von B-to-B und B-to-C große Unterschiede aufweisen wird. In der Vergangenheit hatte die Geschäftsseite keine Erfahrung mit der Cloud-Nutzung – die Nutzung wurde von den Operationsteams gemanagt, R&D sah nur eine Ansammlung von Zahlen und bemerkte dies nur bei Vorfällen. Allerdings unterscheidet sich das bei großen Modellen. Jeder ist zuerst ein Nutzer und kann in seinem täglichen Leben die Qualität der Produkte erkennen. Dann diskutiert man, wie man anhand von Tools die Produktivität steigern kann.
Feng Dagang: Gibt es große Unterschiede zwischen C-End-Produkten der verschiedenen großen Modelle?
Tan Dai: Die Unterschiede bei Endbenutzerprodukten können größer sein, z.B. Wie man einen Prompt schreibt, wie man das Produktdesign und die Interaktion optimiert – all das spielt eine Rolle, und die Leistung des Modells unterschiedet sich ebenfalls.
Oft erzähle ich den Leuten nicht direkt, wie nützlich Doubao ist, sondern sage ihnen, dass wir diese Fähigkeiten haben. Die Betrachtung von Parametern macht eigentlich keinen Sinn – oder besser gesagt, sie bieten nur eine sehr einseitige Information. Was ist das Gefühl nach der Nutzung? Wurden andere Produkte verwendet? Wie ist das Vergleichsgefühl nach der Verwendung? Wenn wir die Nützlichkeit eines großen Modells diskutieren, kann uns eine PPT nicht täuschen. Man wird ein klares Urteil fällen können – dieses Produkt ist wirklich nützlich. Viele sagen, dass sie Doubao als nützlich empfinden, und der entscheidende Punkt ist, dass Doubao schnell Fortschritte macht – die Steigung des Modells ist sehr hoch – und das ist sehr wichtig.
03. Wer ist der Erste?
Feng Dagang: Bei der Diskussion des Bereichs der großen Modelle, was ist Ihrer Meinung nach der entscheidendste Indikator, um festzustellen, wer „der Erste“ ist?
Tan Dai: In Bezug auf den Verbrauch ist die Anzahl der verbrauchten Tokens am wichtigsten, da es aufzeigt, wie viele Inference-Operationen durchgeführt werden. Das Projektvolumen ist kein guter Maßstab, weil es viele Integrationskomponenten gibt. Wenn das Projekt stark privatisiert ist, umfasst es viele Faktoren wie Hardware, Software, Anwendungsentwicklung und Personaldienstleistungen. Wie hoch ist der Anteil der großen Modelle? Unterscheiden sich die Messmethoden, ergeben sich unterschiedliche Ergebnisse.
Feng Dagang: Was denken Sie, wie sich Volcano derzeit positioniert?
Tan Dai: Obwohl es keine Drittanbieterdaten gibt, denke ich im Vergleich zur Ankündigung von Zahlen durch alle in der Branche, dass Volcano in einer sehr vorderen Position liegt. Aber jeder verwendet unterschiedliche Maßstäbe. Wir sprechen direkt über Tokens, während einige nicht über Token sprechen, sondern nur über die Häufigkeit von Aufrufen. Derzeit sind alle Modell-Preismethoden token-basiert, obwohl ich glaube, dass dies ein primitiviertes Geschäftskonzept ist, das jedoch möglicherweise sehr lange bestehen bleibt. Vielleicht wird es nicht mehr token-basiert sein und stattdessen wertbasiert abgerechnet.
Beispielsweise betrug die original Abonnementgebühr von OpenAI 200 USD – jetzt möchte er ein 2000-USD-Produkt entwickeln, da seine KI-Fähigkeiten erheblich gestiegen sind und er stärkeren Wert liefern kann, was die Evolution des langfristigen Geschäftskonzepts veranschaulicht.
Feng Dagang: Der von Ihnen erwähnte wertbasierte Abrechnungsansatz scheint noch nicht in großen Internetunternehmen angewandt zu werden.
Tan Dai: Dies ist das Resultat der zunehmenden Modellfähigkeiten. Modelle müssen sehr fortgeschrittene Agenten realisieren, um eine wertbasierte Abrechnung zu ermöglichen; ich hoffe, innerhalb dieser 25 Jahre sehen wir einige Pilotprojekte.
Feng Dagang: Wie definieren Sie die wertbasierte Abrechnung?
Tan Dai: Dieses Konzept war von Anfang an in unserem Volcano-System. In vielen Bereichen nutzen wir einen End-to-End-Ansatz, um komplexere Herausforderungen zu lösen, Unternehmen helfen Geld zu sparen und Gewinne zu erhöhen. Beginnend mit der Bereitstellung von Recommendations bei Volcano konnte ich über A/B-Tests klar feststellen, wie viel zusätzlicher Gewinn dank unserer Services erzielt wurde, und darauf setzen wir eine Provision an. Auch bei großen Modellen wollen wir dies erreichen. Das Herzstück der wertbasierte Abrechnung besteht darin, dass KI tief seitig auf dem Geschäftsanwendungsfall sitzt; es gibt auch große Möglichkeiten, dies mit großen Modellen zu tun.
Feng Dagang: Viele Leute sagen heutzutage, dass wie z.B. Kimi, Neuanmeldungen nicht wichtig, sondern vielmehr der Verbleib entscheidend ist. Was glauben Sie, weshalb die Kundenverweildauer wichtig ist?
Tan Dai: Die Erhaltung auf der C-Seite hängt von der Sicherstellung einer guten Benutzererfahrung ab – und das gilt auch für die B-Seite. Wir sind jetzt gerade sehr fokussiert auf den Verbleib. Die Nutzer verwenden in einer Woche den Dienst – werden sie ihn in der nächsten auch? Obwohl wir kein Set an C-seitigen Metriken zur Verbleibsrate oder Engagement verwenden, zeigt das Ausbleiben von Kunden in der zweiten Woche oder im zweiten Monat, dass die Sache schlecht lief.
04. Das AI-native Cloud-Zeitalter
Feng Dagang: Was fanden Sie beim letzten (FORCE Winter Power of Originality Conference) Update von Doubao als beachtenswert?
Tan Dai: Das Kernstück der neuen Veröffentlichung und der Upgrades des Doubao-Großmodells liegt in zwei Aspekten:
Einerseits das Doubao Pro als unser leistungsstärkstes Sprachmodell, das ein signifikantes Versions-Upgrade erfährt, in dem das GPT-4o vollumfänglich angeglichen wird, um mehr Probleme zu lösen. Zudem veröffentlichen wir das Doubao-Visuelle-Verstehensmodell, visuelles Verstehen ist eine Kernaufgabe von großen Modellen, die menschliche Fähigkeit die Welt zu verstehen wird hier nachgeahmt.
Zusätzlich zu den Modellen selbst ist der zweite große Höhepunkt die Einführung einer Reihe von intelligenten Entwicklungsplattformen und Tools, die zur Implementierung von Modellen erforderlich sind. Dazu zählen neue Funktionen von Volcano Ark, wie der Einsatz von großen Modellen für multimodale Suche und Empfehlung. Wir bieten außerdem 100+ branchenspezifische Anwendungsvorlagen, um Unternehmen kostengünstig zu unterstützen.
In Zukunft werden wir an stärkeren Modellen, niedrigeren Kosten und noch leichter umsetzbaren Lösungen arbeiten. Schließlich machen große Modelle einen wachsenden Anteil an den IT-Aufgaben von Unternehmen aus, und die gesamte IT-Infrastruktur von Unternehmen befindet sich an einem Wendepunkt. In der Anfangszeit diskutierten wir über traditionelle IT-Infrastrukturen und dann über Cloud-native. Wir gehen davon aus, dass sich die Industrie mit AI in Richtung AI-native Cloud wandelt.
Feng Dagang: Wie interpretieren Sie den Begriff AI-native Cloud und was ist der Unterschied zur Cloud-native?
Tan Dai: Obwohl manche den Begriff AI-native verwenden, halte ich „AI-cloud-native“ für die treffendere Bezeichnung. AI basiert auf rechenintensiven logischen Prozessen, daher ist der Cloud-Rechenaufwand zweifellos größer. Die Flexibilität und Redundanzaufbau, die durch Cloud-native eingeführt wurden, werden von AI-cloud-native übernommen, ergänzt durch den Einfluss von AI, der Berechnung und Datensicherheit signifikant verändert. Zuvor wurde unser gesamtes Computerarchitektur auf die Optimierung von Prozessoren ausgerichtet; nach dem GPU-Schwerpunkt erfordert dies eine Neubearbeitung der Rechenlasten. Traditionelle Netzwerkinfrastrukturen können die neuen berechnungs- sowie datenschichtbezogenen Anforderungen nicht mehr erfüllen. Wir müssen ein komplett neues Datenfluss-System aufbauen, das auf GPU fokussiert ist.
Außerdem stellt uns das Konzept der Datenarchitektur vor eine neue Herausforderung – das größte Potenzial von Modellen liegt darin, dass wir nun endlich in der Lage sind, unstrukturierte Daten problemlos zu verarbeiten. Der erste Stolperstein bei der Digitalisierung war es, wie man unstrukturierte Daten in strukturierte Daten umwandelt, wobei viel an Informationen verloren ging, die man nicht wieder zurückgewinnen konnte. Der nächste Schritt, wie man unstrukturierte Daten extrahiert, blieb schwer. Mit Modellen jedoch können unstrukturierte Daten – wie z. B. Sprach- und Videodaten – direkt verarbeitet werden.
Darüber hinaus müssen wir auch überlegen, wie strukturierte und unstrukturierte Daten in Datenbanken einheitlich gespeichert und verwaltet werden. Wir können keine Kopie in Big-Data-Umgebungen speichern und eine weitere in Modellbetriebssystemen ablegen – das führt zu Datenmassen; diese Veränderungen wirken sich auf die gesamte Datenarchitektur aus.
Sicherheitsmaßnahmen sind ebenfalls betroffen. In dieser FORCE-Konferenz diskutierten wir auch unkomplizierte Rechenlösungen, um Datenschutzprobleme durch AI zu lösen. Wir bieten umfassende Lösungen für ein weitreichendes Bedürfnisspektrum, darunter Wissensdatenbanken, Inferenz und andere Bereiche. Vorher gab es eine Vielzahl an Logverfahren unter Sicherheits- und Betriebsbedingungen, die manuell verwaltet wurden, die eigentlich besser durch AI verwaltet werden können.
Insgesamt kann man sagen, dass AI viele Veränderungen in den Bereichen Design von IT-Systemen, Daten und Sicherheit bringt. In dieser Veröffentlichung lancieren wir eine Reihe von auf AI basierten Produkten; das ist die Entwicklung, die durch Cloud 2.0 ausgelöst wurde. Der Cloud-native-Ansatz gibt es seit über 10 Jahren und wurde erstmals 2013/2014 eingeführt. In den nächsten 10, 20 Jahren wird die Branche AI-cloud-native weiterentwickeln.
05. AI-Technologie für alle
Feng Dagang: Viele der Doubao-Tools und AI-Lösungen werden bereits innerhalb von ByteDance verwendet. Wie effektiv sind diese?
Tan Dai: Sehr effektiv. Wenn ich derzeit eine Frage auf Feishu stelle, fasst es die Informationen automatisch zusammen; bei Datenanomalien wird die Ursache untersucht. Ebenso analysieren wir nun Kundenanfragen; nach einer gründlichen Erfassung der strukturierten und unstrukturierten Daten kennen wir neben der Zufriedenheit auch mögliche Schwachstellen unserer Produkte. Dies verleiht Ihnen als Manager die Möglichkeit, den Überblick über das Gesamtgeschehen zu wahren. Gleiches gilt für unsere IT-Architektur. Beispielsweise liefert das gut funktionierende Doubao-Modell mit niedrigen Kosten durch AI-cloud-native-Rechenressourcen und Netzwerkoptimierungen. Andernfalls könnte man keine dauerhaften preisgünstigen und gewinnorientierten AI-Produkte anbieten.
Feng Dagang: Wie wird das Doubao-Modell für visuelles Verständnis bepreist?
Tan Dai: Die Preisgestaltung des Doubao-Großmodells zielt darauf ab, AI zugänglich zu machen.
Mit der Einführung großer Modelle soll eine tatsächliche Nutzung ermöglicht werden, um Entwicklern und Unternehmen durch AI erhebliche Effizienzsteigerungen zu ermöglichen – besonders für kleine und mittelständische Unternehmen. Entwickler und KMUs hatten vorher nicht genügend Ressourcen, aber mit Hilfe von Modellen können sie sich selbstständig in Coding, Content Creation üben und eine Vielzahl komplexer Aufgaben meistern. Sie erhöhen die Produktivität der Entwickler und KMUs erheblich.
Um dieses Ziel zu erreichen, muss erstens die Modellfähigkeiten besser werden; zweitens müssen die Kosten minimiert werden. Erst dann können Leute zu Innovationen ermutigt werden, um eine Vielzahl von Anwendungen zu entwickeln und reale Probleme zu lösen.
Die Preissetzung des Doubao-Großmodells umfasst all diese Aspekte zum ersten Mal zu einem angemessenen Preis, der transparent und nicht im Stil von „hohen Listenpreisen + Ermäßigungen“ ist. Wir möchten die Zugänglichkeit großer Modelle vorantreiben, um mehr KMUs und Individualentwicklern zu ermöglichen, ihre Produktivität zu entfalten und mehr zu innovieren, ein ebenso nachhaltiges Unterfangen. Doubao-Großmodell senkt nicht nur die Nutzungskosten – auch weltweit senken OpenAI und Gemini so die Preise mit ähnlichen Methoden.
Feng Dagang: Aber es gibt immer noch Leute, die denken, ihr macht eine Preisschlacht.
Tan Dai: Für den Unternehmensmarkt gilt: Das Geschäftsmodell basiert auf nachhaltiger Entwicklung und jedes Produkt muss profitabel sein – Rabatte allein reichen nicht aus, um die Preise zu senken. Wenn senken der Preise unprofitabel bedeutet, wächst das Geschäft zwar, aber es steigt der Verlust – somit ist das kein nachhaltiges Geschäftsmodell.
Sogar bei einem Preis von 0,3 Cent pro tausend Tokens für das Doubao-Modell für visuelles Verständnis bleibt unsere Gewinnspanne positiv – es gibt keine Preisabgabe durch Subventionen.
Feng Dagang: Warum ist so eine Preisgestaltung möglich?
Tan Dai: Das Doubao-Modell wurde in technischer Hinsicht sehr stark optimiert, um Kosten durch technologische Innovation zu reduzieren. So wurde einerseits AI-Technologie allgemein zugänglich gemacht und andererseits unser Geschäft rentabel und nachhaltig.
Zu den konkreten Maßnahmen gehört die Verknüpfung von Algorithmus-, Software-Engineering- und Hardwarelösungen: Beispielsweise gibt es effektivere Modellstrukturen auf Algorithmenebene, mit denen komplexe Inferenzkosten zu einem niedrigeren Gesamtpreis effektiv realisiert werden können. Zum Vergleich: Das menschliche Gehirn (vergleichbar mit GPU-Funktionen) hat einen Energieverbrauch von nur 5 Watt – äußerst kostengünstig; große Modelle haben erheblichen Optimierungsspielraum, um bei gleichbleibendem Intelligenzniveau die Nutzungskosten zu senken. Bereits in der frühen Phase der Vorbereitungen hat unser Algorithmenteam darauf geachtet, Optimierungen in Mechanismen wie Attention und KV Cache vorzunehmen, um der massiven Nachfrage des Doubao-Modells zu entsprechen, was einerseits die Intelligenz des Modells bewahrt und andererseits sehr geeignete Inmferenzpfade bietet, die Inferenzkosten effektiv verringern.
Ein wichtiges Element in der Technik ist die Skalierbarkeit. Je mehr unterschiedliche Lasten es gibt, desto mehr kann man diese verschiedenen Lasten mischen. Beispielsweise gibt es Forschungsprojekte, die nachts Inferenzarbeiten durchführen; der Höhepunkt im Büroumfeld ist tagsüber; Freizeitaktivitäten haben wahrscheinlich ihren Höhepunktmorgens oder abends. Mit einer steigenden Anzahl großer Modellkunden, deren Unternehmenslasten zunehmend diversifizierter sind, kann man durch skalierte Verwaltung die Kosten um ein Vielfaches senken.
Volcano Engine bietet überall das Doubao-Modell an, deshalb sammelt man diese Größenvorteile. Ebenso haben wir im Bereich der spezifischen Soft-Hard-Kombinationen mehrere Ansätze entwickelt, z.B. sind wir eines der ersten Unternehmen in großem Maßstab, das auf Phase-disjoint Inferenz setzt. Da zu unterschiedlichen Inferenzphasen unterschiedliche Computing- und Bandbreitenanforderungen bestehen, können wir das Modell ihreratomisch trennen, es in verschiedene Pooled-Resourcenpools gliedern, die Hardware untenanpassen – da gewisse Hardware für CPU-Leistung und andere Hardware für Bandbreite optimiert ist – was durch diese Methode auch die Kosten erheblich senken kann. Dazu kommen Management- und Verwaltungsaspekte, sowie Bestandsführung, Einkaufsketten-Management. Zusammen führen all diese Faktoren pro Schritt zu einer mehrfachen Kostenoptimierung, was für eine Erhöhung im gesamten Leistungsumfang bedeutend ist.
Feng Dagang: Volcano Cloud ist in der traditionellen Cloud-Sphäre nicht die Nr. 1, kann es mit Hilfe der AI-Cloud nachhinken?
Tan Dai: Unsere Logik bei Clouds ist, dass die Cloud ein sehr großes Spielfeld ist. Sie wird nach dem Prinzip GDP x digitaler Anteil x Marktdurchdringung kalkuliert – das ist ein erhebliches Potenzial. Zweitens, Unternehmen verwenden definitiv mehr als eine Cloud – daher kann der Markt mehrere Anbieter aufnehmen und ist nicht auf ein oder zwei beschränkt. Denn Unternehmen verwenden Clouds aus Sicherheitssicht auf mehreren Ebenen, sowie aus einem Desaster-Recovery-Blickwinkel. Drittens unterscheiden sich die Fähigkeiten der Cloudanbieter, und Nutzer können die Vorteile der einzelnen Anbieter nutzen. Aus der Perspektive der Daten betrachtet, kann der Anteil mehrerer Clouds und deren Anzahl dies belegen. Das Wesen der Cloud ist die Skalierung: je mehr Server, je mehr Bandbreite, desto niedriger die Kosten, desto flexibler. Daher können Sie zu besseren Preisen mehr Services anbieten und gewinnen mehr Kunden.
Für Cloud Computing stellt AI eine bedeutende Unbekannte dar. Mit ihrer Ankunft hat sich die Natur von Clouds verändert und sie kann dem Geschäft besser helfen. Alle Cloud-Produkte werden sich ändern; anders als in den letzten 10 Jahren bei clouds ohne Veränderungen erwarten wir gravierende Veränderungen in den nächsten 10 Jahren. Wir haben vorhin AI-cloud-native erwähnt – das ist das Konzept. Neue Produkte haben Unterschiede und können bei Veränderungen besser Dienste leisten – dies ist eine bedeutende Chance. Erstens haben wir großes Vertrauen in die traditionelle Cloud-Plattform und noch mehr in die AI-Komponente; unser Ziel ist es, die Nr. 1 zu sein.
Feng Dagang: Auf Flughäfen sieht man dieses Jahr oft Werbung von Cloud- und AI-Anbietern, die sich mit Kundenlisten brüsten. Wie beurteilen Sie die Nutzung dieser Methode im nächsten Jahr?
Tan Dai: In letzerem Zeit haben wir im Team auch darüber geredet, wie wir unsere Flughäfenwerbung ändern sollten? Die logische Grundlage war immer, zu zeigen ob viele in Gebrauch sind. Ich denke nun, dass der Fokus auf tiefen Gebrauch und den daraus resultierenden Ergebnissen liegt. Dementsprechend wird unsere zukünftige Ausrichtung sein.
Feng Dagang: Vielen Dank, Herr Tan, das Gespräch war sehr angenehm. Wir beenden mit der letzten Frage über Doubao, die war: Welche Hobbys und einzigartigen Entspannungsmethoden verfolgen Sie neben Ihrer Arbeit? Haben diese auf Ihre Managementfähigkeiten Auswirkungen?
Tan Dai: In meiner Freizeit habe ich zwei Lieblingsspiele: Football Manager – eine Simulation – und Civilization – ein Strategiespiel. Beide beanspruchen viel Zeit, da ich sowohl für Geschichte als auch Fußball sehr gerne Interessen hege. Hinzu kommt, dass man möglicherweise auch Management-Denkweisen annehmen kann, taktische Einblicke gewinnt und so eine Reihe von simulierten Szenarien bearbeiten kann. Ich denke, egal, ob beim Lesen oder Spielen, man kann immer einen Bezug zu den realen Gedankengängen knüpfen. Spielen ist hierdurch auch ein Ablagespeicher – man kann immer ernsthaft weiter gewinnen (schmunzelt).