Der Großmeister der Computergrafik Tong Xin tritt Meshy bei und will der führende Player im Bereich „AI for Fun“ werden.

Das nächste Hochland der KI-Innovation konzentriert sich auf die 3D-Generierung.

Von der multimodalen Generierung und Weltmodellen bis hin zu räumlicher Intelligenz und intelligenten Robotern mit Körperbewusstsein...

3D wird zum Kernmotor der nächsten Generation von KI.

Und jetzt haben sich die meisterhaften Persönlichkeiten im Bereich der Computergrafik mit dem heißesten Starunternehmen auf der KI-3D-Strecke zusammengeschlossen.

Neueste Nachricht:

Tong Xin ist offiziell zu Meshy gewechselt, das von Hu Yuanming gegründet wurde.

Das große Zusammentreffen von Hu Yuanming und Tong Xin

Nach neuesten Nachrichten wird Tong Xin als Chefwissenschaftler des KI-3D-Unternehmens Meshy fungieren und für die Festlegung der langfristigen wissenschaftlichen Forschungsstrategie von Meshy verantwortlich sein.

Dies könnte bedeuten, dass die repräsentativsten zwei Generationen von Forschern in der chinesischen Computergrafik-Community — Hu Yuanming, Gründer von Meshy, und Tong Xin — gemeinsam Durchbrüche bei multimodalen Weltmodellen und Echtzeit-Interaktionssystemen vorantreiben werden.

Tong Xin arbeitete zuvor 25 Jahre lang bei Microsoft Research Asia, wo er die Netzwerkgrafikgruppe leitete und als globaler Forschungspartner tätig war.

Seine Forschungsrichtungen umfassen Computergrafik und 3D-Computervision, genauer gesagt unter anderem Materialerfassung und -modellierung, Textursynthese, 3D-Geometrieverarbeitung und -modellierung, Lichtübertragungsanalyse und -simulation, photorealistisches Rendering sowie 3D-Gesichtsanimation.

△

Computergrafik befasst sich einfach gesagt mit der Frage „wie man dreidimensionale Welten im Computer erstellt, steuert und darstellt“.

Dieser Bereich hat eine grundlegende Bedeutung in Spielen, Filmen und industriellen Simulationen und wird heute zunehmend zu einer Infrastruktur für die Wahrnehmung und Ausdrucksfähigkeit von KI.

Schließlich kann die KI ohne Verständnis für die dritte Dimension die physische Welt nicht wirklich verstehen und in sie eintreten.

Und Tong Xin gehört zu den Gelehrten, die sich am längsten in dieser Richtung engagiert und die tiefste Anhäufung von Erfahrungen gesammelt haben.

1999, kurz nachdem Tong Xin seinen Doktortitel an der Tsinghua-Universität erworben hatte, trat er in das noch keine Jahr alte Microsoft China Research Institute ein, das später als „Huangpu-Militärakademie der chinesischen Technologiebranche“ bekannt wurde – das Microsoft Research Asia.

In den mehr als zwanzig Jahren sind hier unzählige Kernfiguren hervorgegangen, die das Muster der Computervforschung in China und sogar weltweit beeinflusst haben – aber das ist eine andere Geschichte.

Als einer der ersten Forscher des asiatischen Forschungsinstituts blieb Tong Xin 25 Jahre lang dort und stieg vom Forscher bis zum globalen Forschungspartner und Leiter der Netzwerkgrafikgruppe auf.

Er hat fast alle wichtigen Momente der chinesischen Computergrafik miterlebt.

△

In dieser Zeit veröffentlichte Tong Xin zahlreiche Arbeiten in Top-Zeitschriften und auf Top-Konferenzen, und seine Zitierungen bei Google Scholar übersteigen bereits 21000.

Diese technischen Forschungen haben Microsoft viele wertvolle Errungenschaften beschert, darunter die Xbox-Spielentwicklungs-API, Xbox-kompatible Software, Windows-3D-Druckertreiber und das Direct3D-Grafikentwicklungs-Kit.

Darüber hinaus hinterließ Tong Xin der Netzwerkgrafikgruppe des asiatischen Forschungsinstituts ein weiteres „Vermögen“: eine Gruppe von Kernkräften, die die heutige chinesische Computergrafik-Community stützen können.

In 25 Jahren hat er hier Generationen von hervorragenden Forschern zusammengearbeitet, ausgetauscht und betreut.

Zhou Kun von der Zhejiang-Universität, ACM Fellow, IEEE Fellow und Direktor des nationalen Schlüssellabors für CAD&CG, hat viele Jahre mit Tong Xin zusammengearbeitet und von 3D-Druck und rechnergestütztem Design bis hin zu NeRF und neuronalem Rendering geforscht;

Xu Kun von der Tsinghua-Universität, fest angestellter außerordentlicher Professor am Institut für Informatik der Tsinghua-Universität und Preisträger des National Natural Science Fund für herausragende junge Wissenschaftler, hat während seiner Doktorzeit mehrfach mit Tong Xin zusammengearbeitet und Arbeiten auf der SIGGRAPH veröffentlicht;

Wang Pengshuai von der Peking-Universität, Assistenzprofessor am Wang-Xuan-Institut der Peking-Universität, war von seinem Praktikanten bis zum leitenden Forscher immer unter der Leitung von Tong Xin und ist heute bereits ein repräsentativer Gelehrter auf dem Gebiet des 3D-Geometrielernens...

Die Menschen, die mit ihm zusammengearbeitet haben, bewerten Tong Xin oft überraschend einheitlich:

Er ist zugänglich, arbeitet immer an vorderster Front, kann strenge Diskussionen über äußerst detaillierte technische Fragen führen und komplexe technische Probleme mit einfachen Worten verständlich machen.

Denn aus Tong Xins Sicht ist Computergrafik eine angewandte Informatikdisziplin, und daher stammen alle Forschungsprobleme aus praktischen Anforderungen und dem Aufkommen neuer Geräte und neuer Daten.

Darüber hinaus ist Tong Xin sehr humorvoll, zum Beispiel beschreibt er seine eigene Forschung so:

Meine Familie anerkennt zwar das Essen, das ich zubereite, scherzt aber oft, dass ich jeden Tag mit 3D-Teekannen und Hasen auf dem Bildschirm vollkommen zufrieden bin und mich selbst amüsiere. Aber es scheint, dass das, was ich tue, weder die weltweite Situation verändern noch das Leben der gewöhnlichen Menschen verbessern kann – sie verstehen wirklich nicht, woher mein Erfolgserlebnis kommt.

△

Das ist der in der Computergrafik-Community allseits bekannte „Tong Lao“, der über eine äußerst tiefe akademische Stärke verfügt und gleichzeitig die Freundlichkeit und Neugier eines Kindes behält.

Das ist durchaus passend.

„AI for Fun“

Man kann sagen, dass auf diesem Niveau, das Tong Xin in der Computergrafik erreicht hat, nur ein Star-Unicorn wie Meshy in der Branche mithalten kann.

Meshy ist das erste Unternehmen, das Hu Yuanming nach Abschluss seines Doktorstudiums am MIT gegründet hat. Seine Positionierung ist einfach: Text und Bilder in 3D-Modelle umwandeln.

Derzeit hat Meshy 12 Millionen Nutzer angezogen, und seine Kunden decken die Hälfte der zehn weltweit größten Unternehmen nach Marktwert und Bewertung ab.

Dieses Jahr im Juli schloss Meshy eine Serie-B-Finanzierungsrunde von fast 400 Millionen US-Dollar ab, mit einer Post-Money-Bewertung von über 10 Milliarden Yuan.

Damit stellte es zwei Rekorde im globalen KI-3D-Bereich auf: den größten Umfang einer einzelnen Finanzierungsrunde und die höchste Bewertung, und wurde zum Unternehmen mit der höchsten Bewertung in diesem Bereich.

Aber egal ob es sich um ein schnelleres Wachstum oder eine höhere Bewertung handelt – im Vergleich zur Vision von Meshy sind sie immer noch zu spezifisch.

Hu Yuanming, Gründer von Meshy.ai, Meister der 400-Meter-Lauf bei den Sportspielen der Yangzhou-Mittelschule, Zweiter Preis beim Gesangswettbewerb der Yao-Klasse der Tsinghua-Universität, Doktor der Computergrafik am MIT, nominiert für die beste Doktorarbeit der SIGGRAPH, Autor der Programmiersprache Taichi und des zugehörigen Compilers.

△

Er hat ein etwas besonderes klingendes Ziel vorgeschlagen:

AI for Fun.

Seine Logikkette lautet wie folgt.

In der Zukunft, wenn AGI eine große Anzahl von Produktivitätsproblemen gelöst hat, wird die Menschheit nur noch ein Kernproblem haben.

„Wie werden wir schaffen, ausdrücken und verbinden? Und vor allem: Wie werden wir Sinn erlangen?“

Bücher lesen, reisen, Spiele spielen, kurze Serien ansehen... Das kann uns zwar Freude bereiten, aber in einer Zeit, in der Freizeit so reichlich vorhanden ist, werden wir „sicher nach neueren und effektiveren Wegen suchen, um Freude und Sinn zu erzeugen“.

Solche Wege werden zwangsläufig von KI angetrieben.

Daher ist „die Verwendung von KI, um der Menschheit Freude und Sinn zu bringen, eines der wichtigsten Probleme in den nächsten fünf Jahren“.

Und Meshy möchte das entscheidende Puzzleteil in diesem Bild sein.

Mit Hu Yuanmings Worten ausgedrückt wollen sie „die Computergrafik auf Basis generativer KI neu gestalten und die global optimale Lösung finden, um Vorstellungen zu materialisieren“.

Was bedeutet das?

Anders ausgedrückt: Heutzutage geht es bei KI 3D nicht nur darum, die KI unter Anleitung der Computergrafik effizienter bei der Modellierung, Texturzuweisung und dem Rendering zu unterstützen.

Auf lange Sicht könnte das Endziel von KI 3D die Materialisierung von Vorstellungen sein.

Diese vorausschauende Perspektive stimmt gut mit Tong Xins Philosophie überein.

Bereits 2016 schlug Tong Xin vor, das Problem von „Jedermann und überall“ bei der Produktion von Grafikinhalten zu lösen, damit jeder an jedem Ort visuelle Medieninhalte erstellen kann.

Zehn Jahre später ist „Jedermann erstellt überall visuelle Medieninhalte“ zu der Vorstellung geworden, dass jeder mit nur einem Satz seine Vorstellung in eine Welt verwandeln kann, in die man eintauchen, sie erleben und mit der man interagieren kann.

Das ist natürlich ein sehr großes Ziel.

Um es zu erreichen, führt Meshy derzeit grundlegende technische Forschungsarbeiten auf drei Ebenen durch:

Zuerst und am wichtigsten – die Computergrafik neu erfinden.

Dafür muss man aus dem lokalen Optimum der Grafik-Rendering-Pipeline in der bisherigen Netzwerkgrafik heraustreten und mit KI eine neue global optimale Lösung schaffen, die nicht auf „Dreiecken“ basiert – wobei „Dreieck“ die kleinste Einheit ist, mit der GPUs 3D-Objekte rendern.

△

Zweitens muss ein Regie-System aufgebaut werden.

Wenn die neue Computergrafik eher wie ein Filmteam funktioniert, braucht es ein passendes Regie-System, um „AI for Fun“ zu realisieren.

Dieses Regie-System ist dafür verantwortlich, die Betriebsmechanismen der Welt und das 3D-Grundgerüst festzulegen und die Echtzeiterstellung von Drehbüchern zu ermöglichen.

Drittens geht es um die Infrastruktur.

Eine 3D-Generierungs- und Rendering-Infrastruktur mit niedriger Latenz, hoher Bildqualität und niedrigen Kosten ist unerlässlich – denn selbst ein augenblickliches Ruckeln wird im Erlebnis von „AI for Fun“ um das Hundertfache verstärkt.

Dafür muss eine neue leistungsstarke Infrastruktur entworfen werden, was sich direkt an der Grundidee der Taichi-Programmiersprache orientiert, die Hu Yuanming in seiner Doktorarbeit entwickelt hat und mit der er Meshy zu Beginn seiner Gründung aufgebaut hat.

Neben diesen Grundlagenforschungen entwickelt das neue Modell von Meshy auch konkrete Engpässe im aktuellen KI-3D-Bereich weiter.

Zum Beispiel das Problem der „Kontrollierbarkeit“: Ob das generierte Ergebnis dem Eingabebild treu bleibt, was sich in der Genauigkeit der Gesamtproportionen, der Angemessenheit der räumlichen Verteilung und der Wiedergabetreue der Oberflächendetails zeigt.

Am 10. August dieses Jahres veröffentlichte Meshy Meshy-7, das einen großen Fortschritt in Richtung geometrischer Ausrichtung machte: Genauer gesagt:

Bei organischen Charakteren kann das Modell