Die kostenlosen Internetdaten sind bereits vollständig aufgebraucht, und normale Nutzer berichten, dass sie längst nicht mehr nutzbar sind? Ein ehemaliger Ingenieur von Nvidia: Die ursprüngliche Sünde von Transformer ist die Verschwendung von Rechenleistung, und Chatbots vergeuden alle GPU-Ressourcen völlig.

Ganz Silicon Valley dreht sich derzeit um eine Sache: Man kauft eifrig Nvidia Blackwell-Chips, hortet Stromversorgungskontingente und treibt Rechenzentren auf das Gigawatt-Niveau, nur damit Chatbots ihre Antworten den Nutzern in Millisekundengeschwindigkeit ausgeben können.

Aber für Neil Movva, der einst bei Nvidia eigenständig unterste Operatorkerne (Kernel) entwickelte und heute Sail Research gründete, steckt die gesamte Branche wahrscheinlich von Anfang an in einer „Latenzfalle“.

Neil erlebte die Zeit, in der Nvidia um 5% der Waferfläche kämpfte, um die Matrixmultiplikation zu sichern. Er weiß genau, dass GPUs im Grunde Maschinen für hochdurchsatzorientierte Berechnungen sind, die heute aber gezwungen werden, als Echtzeit-Kundenservice für menschliche Tastaturinteraktionen zu dienen. Seiner Meinung nach ist das Endziel von KI keineswegs eine Echtzeitunterhaltung mit niedriger Latenz, sondern Hintergrund-Agenten, die stunden- oder sogar tagelang autonom laufen können.

„Die beste Latenz ist eigentlich Null-Latenz – wenn du morgens aufwachst, hat die Maschine in der Nacht bereits alle Arbeiten für dich erledigt.“ Solange Menschen nicht mehr im Interaktionskreislauf feststecken, gibt es keine Obergrenze für den Verbrauch von Intelligenz.

Um die Kosten für diese Hintergrundschlussfolgerung um das 1000-fache zu senken, verfolgt Neil eine extrem mutige Strategie des „Rechenleistungssammlers“: „Es gibt keine schlechten Chips auf der Welt, nur schlechte Preisgestaltungen.“ In der neuesten Ausgabe des Interviews „Invest Like the Best“ berechnen der Moderator Patrick O'Shaughnessy und Neil von den physikalischen Grenzen unterer Wafer und den angeborenen Mängeln der Transformer-Architektur bis hin zu den Stromrechnungen des Stromnetzes. Sie zeigen vollständig die zukünftige Welt der Rechenleistung, die in den Augen eines unteren Ingenieurs einen echten geschlossenen Geschäftszyklus aufweist.

Kurzer Überblick über die Kernpunkte

• Die beste Latenz ist Null-Latenz: Ich möchte nicht, dass du lange wartest. Wenn du morgens aufwachst, sind alle Arbeiten bereits in der Nacht erledigt. Solange du noch am Kreislauf von „Eingabeaufforderung und Warten“ teilnehmen musst, bist du selbst der größte Engpass für den Agenten.
• Es gibt keine schlechten Chips auf der Welt, nur schlechte Preisgestaltungen: Solange der Preis stimmt, bin ich bereit, jederzeit und überall beliebige Chips zu kaufen. Die Vorurteile des Marktes gegenüber Nicht-Nvidia-Hardware sind für mich die beste Arbitrage-Gelegenheit.
• Die „Erbsünde“ von Transformer: Er kombiniert eine Attention-Schicht, die extrem durch die Speicherbandbreite eingeschränkt ist, und eine MLP-Schicht (Matrixmultiplikation), die extrem durch die Rechenleistung eingeschränkt ist, zwangsweise miteinander. Es ist sehr schwierig, beide mit einem einzigen Chip zu berücksichtigen, was zu einer großen Verschwendung von unteren Ressourcen führt.
• Das Internet ist eine einmalige Subvention für Daten: Alle hochwertigen Texte im gesamten Netz wurden gründlich durchsucht, und die Präferenzrückmeldungen der breiten Öffentlichkeit haben längst ihre Gültigkeit verloren. Die Evolution der nächsten Generation von Intelligenz hängt vollständig von verstärkenden Lernspielen in überprüfbaren Aufgaben-Sandboxen ab.
• Kauf von „günstigen“ Rechenzentren mit 95% Verfügbarkeit: Herkömmliche Rechenzentren zahlen einen hohen Preis für 99,99% SLA und Generatoren. Aber wenn wir langzyklische Agenten bedienen und mit Wettermodellen zur Planung zusammenarbeiten, können unterbrochene günstige Grünstrom zu einem asymmetrischen Vorteil werden.

Im Folgenden das vollständige Interview:

01 / Intelligenz zu einem extrem günstigen Massengut machen

Moderator: Ich denke, zu Beginn des Gesprächs ist es am besten, die Sache direkt klarzustellen: Was baut ihr eigentlich, und was kann es jetzt tun? Also könnt ihr uns erstmal kurz positionieren – Was ist das System, das ihr aufbaut, und warum muss es existieren?

Neil Movva: Sail Research ist eine „Token-Fabrik“. Wir bieten eine API an, mit der jeder Anfragen an uns senden und Open-Source-Großsprachmodelle aufrufen kann, um alle Aufgaben zu erledigen, die er möchte. Wir bieten ihnen Token-Inferenzdienste zu einem Preis an, der auf dem Markt unschlagbar ist. Gleichzeitig unterstützen wir Kunden beim Aufbau verschiedener Agenten auf dieser Basis. Wir hosten sogenannte „Sandboxes“, also virtuelle Maschinen für langlebige Agenten, die in der Cloud laufen und speziell für Agenten ausgelegt sind, die Stunden, Tage oder sogar Wochen lang laufen.

Moderator: Das heißt, ihr befindet euch im gleichen Ökosystem wie andere Unternehmen, die verschiedene Arten von Inferenzdiensten anbieten. Ihr konzentriert euch auf eine sehr spezifische Art der Inferenz, mit dem Ziel, der absolut günstigste Anbieter zu werden und die Popularität einer bestimmten Form von Intelligenz voranzutreiben?

Neil Movva: Völlig korrekt. Das zentrale Thema unseres Unternehmens ist „Fülle (Abundance)“. Wir möchten die neue Massengutart „Intelligenz“ zu Kosten liefern, die fast alle Branchen tragen können, an möglichst viele Menschen. Wir glauben, dass wenn du die Kosten für etwas um das 10-fache senkst, eine völlig neue Produktkategorie entsteht – und wir haben uns zum Ziel gesetzt, dasselbe mit Token zu tun. Wir denken, dass die Tatsache, dass Maschinen denken können, extrem weitreichende Bedeutung hat, und unsere heutige Aufgabe ist es, so viele Maschinen wie möglich auf der Welt zum Laufen zu bringen, um zu denken.

Moderator: Wenn wir das heutige Thema als „Token-Kosten“ festlegen, ist das die richtige Art, dieses Problem zu verstehen? Oder hättest du zu Beginn andere Ausdrucksweisen?

Neil Movva: Natürlich. Derzeit sind die Token-Kosten mein Nordstern-Indikator: Ich möchte die niedrigsten Kosten pro Token in der gesamten Branche haben, und zwar mit deutlichem Vorsprung. Ich glaube nicht, dass Token die ultimative Maßeinheit für Arbeitsaufwand oder Intelligenz sind, aber sie sind unsere heute gängige Einheit, daher ist diese Messmethode sehr direkt. Ich denke, dass die Branche nach Token mehr zu „Ergebnissen (Outcomes)“ übergehen wird – obwohl das noch eine ziemlich vage Richtung ist. Zum Beispiel kannst du heute, wenn du Token über einen Agenten verbrauchst, nicht genau steuern, wie viele Token der Agent für die Inferenz verbrauchen wird.

Er könnte eine Zeit lang nachdenken oder eine bestimmte Anzahl von Tools aufrufen. Der Trend wird immer deutlicher, dass wir Agenten eine bestimmte Arbeitseinheit erledigen lassen und sie so oft wie möglich versuchen lassen, Tore zu schießen (Take shots on goal), und wie viele Token er letztendlich verbraucht, um das Ziel zu erreichen, wird zu einer abhängigen Variablen, die von der Aufgabe selbst abhängt. Das ist so, als ob der Agent anfängt, sein eigenes Token-Budget zu verwalten, anstatt dass das Unternehmen den Ingenieuren ein festes monatliches Limit für den Token-Verbrauch setzt.

Moderator: Warum habt ihr die Chance, dieses Problem zu lösen? Derzeit scheint die ganze Welt um „mehr, bessere, schnellere und günstigere Token“ zu kreisen, und die ganze Welt versucht sehr aggressiv, dieses Problem zu meistern. Welche einzigartigen Durchbruchspunkte siehst du, also Stellen, an denen der Markt bei dem Versuch, das Problem zu lösen, ineffizient ist?

Neil Movva: Ich denke, es gibt zwei Hauptrückenwinde, die die Entwicklung unseres Unternehmens vorantreiben.

Der erste ist zwangsläufig der Aufstieg von Open Source, über den ich zuerst sprechen muss. Wir sehen, dass immer mehr Kunden und der breitere Markt anfangen, auf die „Eigentümerschaft der Intelligenz“ zu achten. Sie wollen Kontrolle und Souveränität über die Technologie haben, auf die sie angewiesen sind. Das schafft einen noch blühenderen Markt für angepasste Modelle und sogar reine Open-Source-Basismodelle, die niemand jemals wegnehmen kann. Du besitzt immer die Modellgewichte und hast immer das Recht, sie auf jede beliebige Weise bereitzustellen, die dir gefällt. In den letzten Jahren war der Markt für die Bereitstellung großangelegter Hosting-Dienste für diese Open-Source-Modelle sehr aktiv.

Aber die Herausforderung besteht darin, dass alle diese Unternehmen – ob BaseTen, Fireworks oder Together – ihre Energie auf „Niedriglatenz-Inferenz“ konzentrieren. Sie wurden von einem extrem wichtigen Großkunden in diese Richtung gezogen – nämlich Cursor. Vor etwa einem Jahr war das tatsächlich die richtige Wahl; aber seit sechs Monaten hat sich die Situation geändert: Die Leute fangen an zu erkennen, dass der Bedarf an Agenten weit über „niedrige Latenz“ hinausgehen kann.

Du willst stärkere Persistenz und die Fähigkeit, Aufgaben mit längeren Zyklen zu bearbeiten. Für mich ist die Zukunft der agentischen Inferenz offensichtlich Aufgaben mit langem Horizont (Long-horizon tasks). Maschinen laufen einmalig stunden- oder sogar tagelang kontinuierlich. Dann ist es völlig irrelevant, ob er 100 Token oder 10 Token pro Sekunde ausgibt. Und die Lockerung der Latenzanforderungen bringt enorme Effizienz- und Kostenvorteile mit sich.

02 / Die beste Latenz ist Null-Latenz

Moderator: Warum bist du dir da so sicher? Für mich wollen Menschen immer, dass alles so schnell wie möglich geht. Wenn du da sitzt und wartest, solltest du die schnellstmögliche Antwort erhalten.

Neil Movva: Mein Trick ist, dass ich dich überhaupt nicht warten lassen möchte. Ich möchte, dass sie initiiert wird, im Hintergrund still läuft. Mit anderen Worten: Die beste Latenz ist Null-Latenz – wenn du morgens aufwachst, sind alle Arbeiten bereits in der Nacht erledigt, und du musst nicht einmal eine Frage stellen. Das ist der ultimative Traum, den wir noch nicht vollständig erreicht haben.

Aber was noch wichtiger ist: Solange du am Mensch-Maschine-Kreislauf (Human-in-the-loop) teilnehmen musst, bei dem du den Agenten aufforderst und auf die Antwort wartest, bist du selbst tatsächlich der Engpass, der den Agenten einschränkt, mehr oder weniger Arbeit zu bearbeiten. Wir möchten, dass Agenten nach dem menschlichen Zeitmaßstab laufen. Du verwaltest deine Kollegen nicht alle 5 Minuten mikroskopisch; du gibst ihnen eine hochrangige Aufgabe und fragst dann vielleicht einmal am Tag nach, oder häufiger synchronisierst du dich einmal pro Woche. Meiner Meinung nach ist das die Zukunft der Zusammenarbeit zwischen Menschen und Agenten – nah am menschlichen eigenen Zeitrhythmus.

Moderator: Erzähl uns mehr über die frühen Anzeichen, die zeigen, dass dieser Trend stattfindet und dich bei der Gründung dieses Unternehmens unterstützt haben?

Neil Movva: Das Wichtigste und Entscheidendste ist das Konzept der Testzeit-Compute-Skalierung (Test-time compute scaling) – also dass der Agent bessere Antworten geben kann, solange du ihm mehr Zeit gibst.

Diese Theorie wurde vor etwa zwei Jahren vorgeschlagen, aber erst Ende letzten Jahres, als Opus 4.5 erschien, wurde sie zu einer Richtung, auf die wir setzen konnten. Opus 4.5 war der erste Agent, der einigermaßen in der Lage war, Aufgaben mit langem Zyklus zu bewältigen. Als er herauskam, war er eigentlich noch mittelmäßig, aber wenn du dir die neueren Modelle und unsere Arbeit im Open-Source-Bereich ansiehst, wirst du feststellen, dass heutige Agenten bereits eine Stunde lang kontinuierlich laufen können. Ich würde nicht sagen, dass er jetzt schon mehrere Tage laufen kann, aber eine Stunde lang durchzuhalten ist heute absolut machbar.

Sobald du siehst, dass die durchschnittliche Interaktionsrunde oder die Ausführungsdauer der Aufgaben ständig verlängert wird, brauchst du nicht viele Datenpunkte, um diese exponentielle Kurve zu zeichnen und zu erkennen, dass es extrem wertvoll ist, Agenten länger laufen zu lassen.

Moderator: Welchen Marktanteil werden Agenten mit langzyklischem Betrieb deiner Meinung nach in etwa drei Jahren einnehmen?

Neil Movva: Ich bin extrem optimistisch für diesen Markt, weil seine Obergrenze unendlich ist. Beim langzyklischen Betrieb ist niemand im Kreislauf, also kannst du im Hintergrund beliebig viele Token unbegrenzt verbrauchen. Im Gegensatz dazu hat die menschliche Aufmerksamkeit eine Grenze.

Wenn ich jetzt 10 Mal mehr Token auf Codex oder Claude Code verbrauchen soll, kann ich das eigentlich nicht. Solange ich vor dem Laptop sitze, bin ich den größten Teil des Tages bereits tief in den geschlossenen Kreislauf des Programmierens eingetaucht. Was wirklich keine Obergrenze hat, ist die Anzahl der Token, die im Hintergrund oder aktiv vom System verbraucht werden. Daher denke ich langfristig, dass das Lastverhältnis von Hintergrundaufgaben zu Echtzeitaufgaben bis Ende dieses Jahres etwa 50:50 betragen wird, aber in Zukunft wird dieses Verhältnis 90:10 werden, und die Hintergrundlast wird absolut dominieren.

Moderator: Welche Szenarien gibt es konkret? Was ist dein Lieblingsbeispiel – welche Aufgaben lassen sich als Hintergrundaufgaben viel besser verarbeiten als Aufgaben mit Menschen im Kreislauf?

Neil Movva: Das gilt für die überwiegende Mehrheit der tiefgehenden Forschung (Deep Research). Zum Beispiel, wenn du eine umfassende Analyse von nicht 100, nicht 1000, sondern 10.000 oder sogar noch mehr Datenquellen durchführen möchtest, um eine genaue Antwort zu geben. Oder wenn du einen maßgeblichen Informationsindex aufbauen möchtest – zum Beispiel unser Kunde Parallel Web Systems, der versucht, das gesamte Internet zu indizieren und Änderungen im gesamten Netzwerk in Echtzeit zu überwachen.

Diese extrem übertriebenen Aufgaben im Exabyte-Maßstab erfordern eine völlig andere Form oder einen anderen Umfang von Intelligenz, um erledigt zu werden. Tiefgehende Forschung ist unser wichtigstes Anwendungsszenario, und danach sehen wir, dass der Bereich der Cybersicherheit schnell nachzieht. Denk mal nach: Du kannst tatsächlich riesige Mengen an Code generieren, aber die Methoden, um diesen Code zu knacken, sind exponentiell zahlreicher als das Generieren des Codes.

Es gibt einige sehr gute Kunden, die mit voller Kraft Agenten bauen, die jede Software knacken und aktiv reparieren können. Zum Beispiel, als Fable oder Mythos ursprünglich veröffentlicht wurden, gab es einen Boom in der Cybersicherheits-Community: Die Leute ließen Fable jede Zeile Code durchlaufen, die wir je geschrieben haben, und suchten auf 20 verschiedene Arten nach Schwachstellen – einschließlich Speicherfehlern, Geschäftslogikfehlern und Netzwerkschwachstellen usw. All das erfordert, dass du spezielle Agenten schreibst, um sie zu bearbeiten.

Du lässt Fable nicht nur den Quellcode einmal durchsehen, sondern baust tatsächlich eine Testumgebung auf und führst Penetrationstests (Pentest) für diese Anwendungen durch. Später hat die Branche sogar angefangen, zu scherzen: Sicherheit ist zu einem „Proof of Work“ (Arbeitsnachweis) geworden.

Um Softwaresicherheit zu erreichen, hängt es im Wesentlichen davon ab, wie viele Dollar du für die API von Anthropic ausgibst, um zu versuchen, dein eigenes System zu hacken.