互联网免费数据已被吃光，普通人反馈早没用了？前英伟达工程师：Transformer的原罪浪费算力，聊天机器人把GPU全糟蹋了

现在整个硅谷都在为一件事情发疯：抢购英伟达 Blackwell 芯片、囤积供电指标、把数据中心推向吉瓦级，只为了让聊天机器人以毫秒级的极速把字吐到用户面前。

但在曾在英伟达亲手写底层算子（Kernel）、如今创办了 Sail Research 的 Neil Movva 看来，整个行业很可能在一开始就陷入了“延迟陷阱”。

Neil 经历过英伟达为了给矩阵乘法争取 5% 晶圆面积而严防死守的年代，深知 GPU 本质上是一台为大吞吐计算而生的机器，如今却被硬生生逼成了伺候人类键盘交互的即时客服。在他看来，AI 的终局根本不是低延迟的实时对话，而是能自主运行数小时甚至数天的后台 Agent。

“最好的延迟其实是零延迟——早晨醒来，机器在夜里已经替你把活全部干完了。”只要人类不再卡在交互回路中间，智能的消耗就没有上限。

为了让这种后台推理成本暴跌 1000 倍，Neil 正在执行一套极为彪悍的“算力拾荒者战略”：“世界上没有坏芯片，只有糟糕的定价。” 在最新一期《Invest Like the Best》访谈中，主持人 Patrick O'Shaughnessy 与 Neil 从底层晶圆的物理限制、Transformer 架构的先天缺陷，一路算到了电网的电价账本，完整展示了一个底层工程师眼中真正具备商业闭环的算力未来。

要点速览

• 最好的延迟是零延迟 ：我根本不想让你干等。当你早晨醒来，工作已经在夜间全部做完。只要你还需要参与“提示并等待”的回路，人类自己就是 Agent 最大的瓶颈。
• 世界上没有坏芯片，只有糟糕的定价 ：只要价格合适，我愿意在任何时间、任何地点采购任何芯片。市场对非英伟达硬件的偏见，对我来说是最好的套利机会。
• Transformer 的“原罪” ：它把一个极度受限于内存带宽的注意力层（Attention），和一个极度受限于算力的矩阵乘法层（MLP）硬拼在了一起，单颗芯片极难兼顾，导致底层资源存在巨大浪费。
• 互联网是对数据的一次性补贴 ：全网的高质量文本已经被翻了个底朝天，普通大众的偏好反馈早已失效。下一代智能的进化，全靠在可验证的任务沙盒里做强化学习博弈。
• 买下 95% 可用率的“廉价”机房 ：传统数据中心为了 99.99% 的 SLA 和发电机付出了天价。但如果服务的是长周期 Agent，配合天气模型调度，断断续续的廉价绿电反而能成为不对称优势。

以下为采访全文：

01 / 把智能做成极廉价的大宗商品

主持人：我觉得在对话一开始，最好直截了当地把事情挑明：你们到底在造什么，它现在能做什么？所以，不妨先给我们简单定个位——你们正在构建的系统究竟是什么，它为什么有存在的必要？

Neil Movva：Sail Research 是一家“Token 工厂”。我们提供一套 API，任何人都可以向我们发送请求，调用开源大语言模型来完成他们想做的任何任务。我们会以市场上无可匹敌的价格为他们提供 token 推理服务。同时，我们还支持客户在这一底座上构建各种 agent。我们托管所谓的“沙箱（sandboxes）”，即在云端运行的长生命周期 agent 虚拟机，专门为运行数小时、数天甚至数周的 agent 量身定制。

主持人：也就是说，你们和其他提供不同类型推理服务的公司处于同业生态中。你们专注的是一种非常特定的推理类型，目标是成为绝对最廉价的供应商，推动某种特定智能形态的普及？

Neil Movva：完全正确。我们公司的核心主题是“丰裕（abundance）”。我们希望将“智能”这种新型大宗商品以近乎所有行业都能承受的成本交付给尽可能多的人。我们认为，只要你把某样东西的成本降低 10 倍，它就会催生出一个全新的产品品类，而我们立志要对 token 做同样的事。我们觉得机器能够思考这件事意义极其深远，而我们现在的任务，就是让全世界尽可能多的机器都运转起来去思考。

主持人：如果把今天的主题定为“token 成本”，这是理解这个问题的正确方式吗？或者一开始你会有其他表述方式吗？

Neil Movva：当然。在当下，token 成本就是我的北极星指标：我要拥有全行业最低的单 token 成本，而且要遥遥领先。我不认为 token 是工作量或智能的终极度量单位，但它是我们今天通用的单位，所以这种衡量方式非常直接。我认为在 token 之后，行业会更多地转向“成果（outcomes）”——虽然这还是个比较模糊的方向。比如在今天，当你通过 agent 消耗 token 时，你其实无法精确控制 agent 为了推理要消耗多少 token。

它可能会思考一段时间，或者调用一定数量的工具。越来越明显的趋势是，我们会让 agent 去完成某项工作单元，让它尽可能多次尝试射门（take shots on goal），而它最终消耗了多少 token 才能达成目标，就成了一个取决于任务本身的因变量。 这就好比 agent 开始自我管理 token 预算，而不是公司为工程师每月设定固定的 token 消耗额度。

主持人：为什么你们会有机会来解决这个问题？目前看来，整个世界都在围绕“更多、更好、更快、更便宜的 token”运转，全世界都在极其激进地试图攻克这个难题。你看到了什么独特的突破口，是市场在尝试解决该问题时效率低下的地方？

Neil Movva：我认为推动我们公司发展的顺风主要有两股。

第一股必然是开源的崛起，我必须先谈谈这点。我们看到越来越多的客户乃至更广泛的市场开始在意“拥有智能的所有权”。他们希望对自身依赖的技术拥有控制权和主权。这就为定制化模型、甚至那些任何人都不可能夺走的纯开源基础模型创造了一个更加蓬勃的市场。你永远拥有模型权重，永远有权以任何你喜欢的方式去部署它们。在过去几年里，为这些开源模型提供大规模托管服务的市场一直相当活跃。

但挑战在于，无论是 BaseTen、Fireworks 还是 Together，这些公司全都把精力集中在“低延迟推理”上。他们被一个极其重要的大客户拉向了这个方向——那就是 Cursor。在大约一年前，这确实是正确的选择；但从六个月前开始，情况发生变化：大家开始意识到，你对 agent 的需求可能远不止“低延迟”。

你想要更强的持久性、处理更长周期任务的能力。现在对我而言，agentic 推理的未来显然属于长周期任务（long-horizon tasks）。机器会一次性连续运行数小时甚至数天。这时候它每秒输出 100 个 token 还是 10 个 token，根本无关紧要。 而放宽延迟要求，会带来巨大的效率与成本优势。

02 / 最好的延迟是零延迟

主持人：你为什么对这点如此笃定？在我看来，人总是希望一切都越快越好。当你坐在那儿干等着的时候，你理应获得尽可能最快的回复。

Neil Movva：我的诀窍在于，我根本不想让你干等。我希望它是主动发起的，是在后台静默运行的。换句话说：最好的延迟就是零延迟——当你早晨醒来时，工作已经在夜间全部做完了，你甚至连提问都不需要。这是终极梦想，我们现在还没完全达到那一步。

但更重要的是，只要你还需要参与到“提示 agent 并等待响应”的人机回路（human-in-the-loop）中，你自己实际上就成了限制 agent 处理更多或更少工作的瓶颈。我们希望 agent 按照人类的时间尺度来运转。你不会每隔 5 分钟就去微观管理你的同事一次；你会交代给他们一项高层次任务，然后可能每天过问一次，或者更常见的是一周同步一次。在我看来，这才是人与 agent 协作的未来——贴近人类自身的时间节奏。

主持人：再多讲讲有哪些早期迹象表明这一趋势正在发生，从而支撑你创立这家公司？

Neil Movva：最首要且最关键的一点，就是思考期计算扩展（test-time compute scaling）的概念——也就是只要你给 agent 更多的时间，它就能给出更好的答案。

这个理论大约在两年前被提出来，但直到去年底 Opus 4.5 问世，它才真正成为一个我们可以下注的方向。Opus 4.5 是第一个稍微能够胜任长周期任务的 agent。它刚出来时其实还挺平庸的，但看看更新的模型以及我们在开源领域所做的工作，你就会发现，现在的 agent 已经能够连续运行一个小时了。我不会说它现在就能跑上好几天，但撑满一个小时在今天绝对是完全可行的。

只要看到平均交互轮次或任务执行时长在不断拉长，你不需要太多数据点就能画出那条指数曲线，并意识到让 agent 运行更长时间是极其有价值的。

主持人：你认为在三年左右的时间里，长周期运行的 agent 会占据多大的市场份额？

Neil Movva：我之所以极度看好这个市场，是因为它的上限是无穷的。长周期运行没有人在回路中，所以你可以在后台随意消耗无限多的 token。相比之下，人类的注意力是有极限的。

如果你让我现在在 Codex 或 Claude Code 上多消耗 10 倍的 token，我其实做不到了。只要我坐在笔记本电脑前，我一整天的大部分时间已经高度沉浸在写代码的闭环中了。真正没有上限的，是那些在后台或由系统主动消耗的 token 数量。所以从长远来看，我认为今年年底后台任务和实时任务的负载比例大概是 50:50，但未来这个比例会变成 90:10，后台负载占据绝对主导。

主持人：具体都有哪些场景？你最喜欢的例子是什么——哪些任务作为后台任务处理，效果要远远好于人在回路中的任务？

Neil Movva：绝大多数深度研究（deep research）都是如此。比如当你想要对不是 100 个、不是 1000 个，而是 10,000 个甚至更多的数据源进行综合分析，给出一个确切答案的时候。或者当你想要建立一个权威的信息索引时——比如我们的客户 Parallel Web Systems，他们试图为整个互联网建立索引，并实时监控全网的变化。

这种极其夸张的 EB 级（exabyte scale）任务，需要一种截然不同的智能形态或智能规模才能完成。深度研究对我们来说是头号应用场景，其次我们看到网络安全领域也在迅速跟进。你想想看，你确实能生成海量的代码，但要想攻破这套代码，其方法比生成代码要呈指数级增多。

市面上有一些非常优秀的客户正全力以赴打造能够攻破任何软件并主动进行修补的 agent。比如当 Fable 或 Mythos 最初发布时，网络安全社区掀起了一股热潮，大家让 Fable 跑遍我们写过的每一行代码，用 20 种不同的方式去寻找漏洞——包括内存错误、业务逻辑错误以及网络脆弱性等等。这些全都需要你编写专门的 agent 来处理。

你不会只让 Fable 把源代码看一遍就完事，而是让它真正搭建起测试环境，对这些应用进行渗透测试（pentest）。到后来，业内甚至开始开玩笑说：安全已经变成了“工作量证明（proof of work）”。

你想要软件安全，本质上取决于你在 Anthropic 的 API 上砸了多少美元去尝试黑进自己的系统。

这成了衡量软件安全度的最佳指标，因为那是全世界最锋利的矛。而且我们越来越发现，这里的智能前沿是参差不齐（jagged）的。并不是说 Fable 找到的 Bug 就是所有软件 Bug 的全集。有时一个极小的模型能找到大模型漏掉的漏洞；Haiku 能发现某些 Fable 找不到的 Bug，反之亦然。这就促成了一种非常多元化的采样策略，大家构建各种各样的网络安全 agent，自主攻破软件以便及时打补丁。

03 / 凡是能被验证的问题，背后都标好了 Token 的价格

主持人：如果让你做一些更具前瞻性和想象力的推演，这种成本极低、运行时间极长的 agent 究竟能解锁什么？我们刚才聊了一些非常现实的案例，比如深度研究、网络安全等。但如果稍微畅想得更宏大一些——这类推理将解锁怎样的新产品品类？如果你取得了最大的成功，畅想一下那会带来怎样的世界？

Neil Movva：当然可以。就个人用户而言，最让我兴奋的是“主动式智能 agent”的概念。你可以想象一个永远在后台运行的 Siri，它实时理解你一天中收到的所有邮件和短信，对你的人生拥有极其百科全书式的全局视野，并且随时知道该如何为你提供帮助。

现在的 AI 依然停留在单点解决方案阶段，所以你最终不得不进行大量的提示词交互。现在的 Siri 一点都不主动。而这正是我们可以通过充裕、廉价的推理来彻底解决的问题。如果你对机器足够信任，确信它既可靠又值得信赖（比如保护隐私），你甚至可以设想机器能够深刻理解你与它的交互模式，每当你打开手机时，它就已经主动为你呈现出下一步操作。我们能否为用户的“下一步行为”构建一个精准的模型？

我的判断是：完全可以。而实现这一目标的关键，在于极度廉价的智能。你必须甘愿在没有任何即时回报承诺的情况下肆意消耗 token。这就是破局点。从长远视角来看，我们现在拥有了一种能够攻克任何“可验证问题（verifiable problem）”的智能形态。所谓可验证问题，涵盖了绝大多数软件工程、大量的形式化数学证明等，也可能包括科学发现。这些在相对意义上都是可验证的。

目前，所有这些事物本质上都挂着一个隐藏的美元标价。就像是“你到底能调动多少 token 来搞定这件事？”而我们其实已经开始让这些长周期任务的美元成本变得肉眼可见地合理。不再是数百万美元，而是数千美元；在不久的将来，为任何科学问题或研究课题找到确定答案的成本，可能只要几百甚至几十美元。

所以，如果我们畅想那个未来，人类最终受限的仅仅是我们能够提出的问题本身？基本上就是我们能提出的问题。现在的模型已经呼之欲出——即便是一个宽泛的高层问题，模型也能主动去追踪每一个可能的后续分支，几乎全靠自己推进。现在唯一的问题就是：你的 token 预算是多少？而我们将彻底解决 token 预算的问题。

主持人：那那些不可验证的任务呢？

Neil Movva：我基本上把人类所有的“审美与品味（human taste）”都归入此类。我们至今还没有解决人类品味的问题，我甚至不知道这在根本上是否可解。如果有意外惊喜，我会很兴奋；但目前我们专注于高度量化的问题，至于写作的文采与艺术的优美，我们留给人类。

04 / 在英伟达学到的一课：放弃私家车的超低延迟，开好吞吐量这辆“大公交”

主持人 ：好，现在让我们来聊聊你希望最终打造的这套极为精妙的完整技术栈——建立起这个庞大的 Token 工厂，成为极其低廉的智能供应商。我知道你是从软件、硬件和电力这几个层级来思考这个问题的。跟我们讲讲你的宏图大略吧，为什么它跟其他人的思路如此截然不同？

Neil Movva ：我们始终得从软件谈起。在现有的芯片和数据中心条件下，提升效率的机会究竟在哪里？我们做的第一件事，就是围绕 GPU 的极限效率构建整个 LLM 软件栈。也就是说，在使用 NVIDIA GPU 的前提下，我们希望从同一张芯片中压榨出比世界上任何人都多的 token 产出。

而这一切始于最底层的编程——算子（kernels）。这其实是我的老本行。我整个职业生涯都在与 GPU 和算子打交道。NVIDIA 是我大学期间的第一份工作，我亲眼见证了张量核心（Tensor Cores）是如何在芯片上为自己争得一席之地的。那是 2016 年前后的事。

主持人：给外行朋友通俗解释一下那意味着什么。

Neil Movva：简单来说，Tensor Core 就是 GPU 上专门用来加速矩阵乘法的专用单元。就这么简单。Tensor Core 是如何随时间演进的，这背后有一段漫长的历史，我们稍后会讲。

主持人：为什么矩阵乘法如此重要？

Neil Movva：问得好。我无法断言背后是否存在某种宇宙的神圣真理，来解释为什么矩阵乘法会成为计算的最小原子单元。但我听过一种很贴切的描述：它是把两块数字混合在一起，并让它们以某种有趣的方式发生相互作用的极其简洁的方法。我能说的也就这么多。

令人称奇的是，线性代数恰好成为了数据中任意复杂关系的一种极其紧凑的表征形式。所以，NVIDIA 这家伟大的图形公司，显然在 GPU 和游戏显卡领域称霸了很长一段时间。然后大约在 2010 年代中期，他们开始启动一些秘密项目（skunk works projects），试图让他们追踪到的机器学习任务能够更好地运行在图形处理器上。

我记得在 NVIDIA 工作时读过一些主管的实验笔记，他们当时会去参加 ICML 或 NeurIPS 这类规模尚小的机器学习会议，在笔记里记录下这些论文：“噢，这个叫深度学习的东西似乎正在兴起，非常有意思的是，这些研究生居然在用 NVIDIA 的游戏显卡来训练他们的大模型。我们应该深入挖掘一下，弄清楚这到底是怎么回事。”

到了 2015、2016 年前后，黄仁勋至少拥有了坚定的信念来加倍下注：“嘿，针对我们芯片的这种使用需求只会继续增长，让我们把越来越多宝贵的硅片面积（die area）分配给这种崭露头角的能力吧。让我们把第一代 Tensor Core 装到芯片上去。”

所以，我们谈论的是把一块专为在屏幕上绘制像素而设计的游戏芯片，改造成能够做矩阵乘法的处理器。当时还处于早期阶段，当你在任何一家芯片公司申请更多硅片面积时，你本质上是在与图形渲染团队竞争。硅片面积永远是兵家必争之地，芯片设计师对它严防死守。你绝对不想押注错误的硬件技术，因为那意味着你本可以分配给其他功能的机会成本。

于是我们拼尽全力据理力争，终于在第一代芯片上拿到了极小的一块晶圆面积——大概就 5% 到 10% 左右，用来为基础卷积提供一定的加速，而卷积正是当时计算机视觉模型的基石操作。

随后我们成立了一个软件团队，竭尽全力想把芯片的全部性能压榨出来。正是在那个我所在的软件团队中，我学到了最多关于 NVIDIA 企业精神的东西。他们有一个术语叫做“光速极限（speed of light）”。对于他们制造的任何硬件，他们永远在追逐它的光速极限。这种信念深深植根于每位工程师的脑海中：只要这台机器理论上能做到，我们就要把它推向极限，直到它发挥出应有的性能。

主持人：“光速极限”就是理论可能性的边界。

Neil Movva：光速极限就是理论可能的边界，完全正确。如果我们认为这颗芯片能在这个频率下运行，每个周期能产生这么多次乘法运算，我们就要达成它。我们要打破每一个瓶颈，达到那个巅峰性能水平。所以直到今天，我仍然对我的所有工程师说：我们在追逐 100% 的光速极限。我不在乎相对于竞争对手的相对指标，我只在乎绝对指标。

主持人：我们在芯片上能做到什么，以及如何做到？在结束你在 NVIDIA 的那段经历之前，除了这个文化层面的触动之外，还有什么真正改变了你思考方式的事情，或者当时公司的运营方式与文化中还有什么最令你难忘的？

Neil Movva：关于 NVIDIA 我有一大堆故事可以讲。我最喜欢的一点是关于员工的司龄：很多我在 2015、2016 年在 NVIDIA 共事的人，直到今天依然在那里工作。这家公司的员工留存率高得惊人，坦率地说，至少在芯片领域，他们是我整个职业生涯中合作过的最优秀的工程师。他们极度专注、充满激情。他们经历了并行计算这一概念的几度沉浮，始终对其坚信不疑，并且深爱着见证芯片演进的过程。这是他们毕生的事业，而且他们在这个方向上极其卓越。

同时，这也是一家极其节俭的公司。2008 年金融危机之后，几乎所有的硅谷公司都削减了开支和福利，不再提供免费午餐。而 NVIDIA 更进一步——冰箱里连免费牛奶都不提供。如果你在 NVIDIA 想喝咖啡加牛奶，你每个月必须给“牛奶俱乐部”凑 1 美元，然后牛奶俱乐部会去 Costco 买牛奶塞进冰箱。我对这件事记忆犹新。我们在 Sail 倒没有这么干，但这种节俭文化深深渗透进了整家公司。

主持人：所以在那段经历之后，你深刻体会到了如何通过软件更高效地利用底层硬件。能把这与当下的环境结合起来谈谈吗？

Neil Movva：当然可以。我认为 GPU 从本质上讲是一台吞吐量机器。当你有海量工作交给它，让它在计算单元峰值利用率下大口吞吐这些计算时，GPU 是最开心的。但这根本不是过去几年我们应用 AI 的方式。

我们硬生生把 AI 逼成了一个交互式聊天机器人工具——这是目前 AI 最常见的形态。在这种形态下，你极其在意以尽可能快的速度向键盘前的人吐出答案。就像你刚才说的“别让用户等，我想要越快越好”。但这给 GPU 带来了很大的麻烦。当你试图极速吐出 token 时，很难让 GPU 处于“计算单元被完全打满”的最佳状态。在 GPU 上，追求吞吐量（throughput）与追求低延迟（latency）之间存在着根本性的权衡取舍。

然而，由于过去的应用形态完全以聊天机器人为主，所有人都选择了低延迟优化。我相信这就是我们未来一年将看到的最深刻变革：我们将从聊天机器人走向更多主动式或后台运行的 agent。而在那个世界里，围绕吞吐量来构建技术栈要合理得多。

主持人：你能从技术层面解释一下，为什么吞吐量和延迟之间的权衡是不可调和的吗？为什么我们不能在同一套硬件上两者兼得？

Neil Movva：这几乎是你所能见到的所有系统的基础规律。在“以最快速度让极少量数据通过系统并留出大量缓冲余量”与“跑得宽而慢”之间，永远存在权衡。“窄而快”还是“宽而慢”，是整个计算机科学领域的经典权衡。但具体到 GPU，有一点必须重点关注：那就是 GPU 上的“批处理（batching）”概念。

我们希望把许多用户的工作打包成一个批次，在 GPU 上一次性全部运行。这就是 GPU 的并行处理能力所在，我们希望有海量的并行任务可做。但问题在于，当你把一大批计算任务打包在一起运行时，总的工作量实际上增加了。即使你填满了所有的计算单元，在整个批次穿过 GPU 的每一步中，需要处理的事情都更多了。

因此，该批次中的任何单个 token 或单个用户的请求，在 GPU 上耗费的时间都会更长，因为它要和其他人的流量一起被运送。打个比方：如果你想去旧金山市中心，你可以坐公交车，也可以坐私家车。私家车走的是最直接的路线，点对点直达，走你想走的道路；而公交车必须为更多的人服务，本质上必须兼顾所有人的需求，所以它走的路线更慢，而且要频繁停靠等待乘客上下车。我认为“公交车 vs 私家车”的类比非常贴切。

主持人：公交车与私家车的比喻很精辟。所以你们要做的事情的第一步，就是在 NVIDIA GPU 之上打造一辆最极致的公交车？这就是你们优化的第一步。

Neil Movva：完全正确。这意味着我们要探索不同的并行策略。我可以再给你举个例子：在 NVIDIA GPU 上，他们真正创新并做得极其出色的一点就是 GPU 之间的 NVLink 互联技术。

事实上 NVLink 系统太强大了，如果你想更快地完成一个大型矩阵乘法，你甚至可以把这个矩阵乘法一切为二，切分（shard）到两个甚至最多八个 NVIDIA GPU 上，让它们各自处理这个大矩阵乘法的一部分，最后在末尾把结果拼接并规约（reduce）到一起。这是降低单次操作最低延迟的绝佳途径。此时每个 GPU 承担的工作量减少到八分之一，因此能更快完成——但绝不是快八倍，这是一种次线性扩展（sublinear scaling）。

你用了八倍的硬件，但换来的可能只有四到五倍的速度提升，无法获得强扩展性（strong scaling）。这是由通信开销决定的，因为每个 GPU 在处理较小的工作分块（tile）时，效率会略低于处理大分块。如果你追求极致的最低延迟，这是唯一的加速手段。你可以这么做，但这绝不是我会做的选择。

比如，我更倾向于使用专家并行（expert parallelism）或流水线并行（pipeline parallelism）等不同的并行方案。我们可以通过巧妙的设计将通信延迟重叠并隐藏起来，而在低延迟服务器上你很难有空间做这种优化。

主持人：所以，NVLink 本质上是一种专门用来提升延迟性能的技术？

Neil Movva：是的，而且仅仅是为了延迟性能——这也正好引出了我们作为一家公司所采取的差异化策略。但是没错，对于低延迟推理来说，NVLink 我认为是必不可少的。所以 NVIDIA 在低延迟推理方面天下无敌。而我告诉你，我们其实没那么在乎低延迟推理。那么这把我们引向了何方？

我认为，指望其他芯片公司短期内搞定 NVLink 是不现实的。这是一项极难攻克的技术，很难扩展，也很难工程化落地。因此，如果我手里有其他厂商的芯片，只要它在基础计算部件上表现出色，依然能把矩阵乘法做得极好，哪怕它无法在同伴之间快速同步结果——那么这颗芯片在我的技术栈里就依然有一席之地，能成为一个极佳的“单位美元算力（compute per dollar）”选项。

而在大多数情况下，这正是我真正优化的目标：这颗芯片拥有多少 FLOPS，以及我拥有和运行它的每小时成本是多少。市面上确实有其他芯片在单位美元 FLOPS 上排名高于 NVIDIA，但它们的互联带宽可能不足。我的工作就是找出适合的并行策略，让这颗芯片能够胜任推理任务。我们不会采用张量并行（tensor parallelism）——要做张量并行基本上非 NVIDIA 莫属；但其他技术对我们完全行得通。

05 / 拆解 Transformer 的“原罪”

主持人：在离开关于延迟的话题之前，你能评价一下像 Cerebras 这样能够实现超高速运算的公司吗？我很想知道你如何看待这些路线和这些公司，以及未来会发生什么。你对专注于超低延迟的硬件未来有何预测？

Neil Movva：Cerebras、Groq 以及另外几家刚走出隐身模式的公司，我认为他们下了一个非常有意思的赌注：他们不是在造另一款 GPU，而是在打造一种聚焦于全新内存层次结构（memory hierarchy）的加速器。他们希望最大化芯片上的 SRAM 容量，并将其用作极速内存来存放模型权重和 KV cache。

聊到 SRAM 与 DRAM，制造芯片内存主要有两种途径：一种是将内存直接集成在逻辑芯片本身上。也就是说你告诉台积电，我这颗芯片上需要多少兆字节（MB）的存储。台积电有现成的标准单元库，你可以直接流片打印出一堆 SRAM 单元。但 SRAM 的问题在于它极占硅片面积。如果你想做一颗大芯片——比如像 800 平方毫米的 NVIDIA Blackwell，若把整个芯片全做成 SRAM，容量大概也只有几个 GB，根本算不上什么海量存储。

与之对比，如果你愿意采用完全不同的制程工艺——不再找台积电，而是转向美光（Micron）、SK 海力士（SK hynix）或三星（Samsung）。他们生产 DRAM，这是另一种完全不同的内存制造方式，核心依赖电容而非晶体管单元。

制造 SRAM 的标准方式是所谓的 6T 晶体管单元（6-transistor cell）。这是一种稳定的晶体管结构，只要你写入一个比特，无论你是否持续施加……当然你得供电，但在没有任何主动管理的情况下，它就能稳稳保持那个状态，它是静态的（Static）。

而动态内存（DRAM）之所以叫动态，是因为在写入数据时，你是把电荷充入电容中；但电荷一旦充入，就会立刻开始消散和泄漏。因此 DRAM 的“动态”特性在于：你必须每隔 50 毫秒左右刷新一次写入的每一个比特。这就好比内存控制器必须时刻在空中抛接数十亿个球，不停地读取并刷新 DRAM 上的每一个比特。

但这种做法的好处是，你可以获得极高极高的存储密度，而且这是一套完全不同的工艺路线，包含着大量的权衡。正因如此，我们才把 DRAM 的制造拆分给完全独立的公司，像美光、SK 海力士和三星，它们是全世界最擅长做这件事的企业。如果你从这些公司拿到 DRAM，堆叠成多层，然后封装或焊接到 NVIDIA 逻辑芯片的周围，你就能获得几百个 GB 的容量——比如 Blackwell 在逻辑芯片周围封装了 288 GB 的 HBM 容量。

而逻辑芯片本身的 SRAM 可能只有区区 500 MB 左右。所以 DRAM 和 SRAM 在密度上的差距可能高达两到三个数量级。好，现在回到 Cerebras。

主持人：他们在做什么？

Neil Movva：他们看到了这个问题：芯片上的 SRAM 密度并没有明显的提升途径。但 SRAM 的妙处在于，由于它在物理空间上与真正执行计算的逻辑门极度贴近，算术逻辑单元（ALU）就紧挨着即将读取数据的 SRAM，执行矩阵乘法的计算单元就能以令人瞠目结舌的速度从 SRAM 中提取数据。

Cerebras 宣称其 Wafer Scale Engine 3（晶圆级引擎 3 代）拥有每秒 21 PB（petabytes per second）的带宽。作为对比，NVIDIA Blackwell 上的 HBM 带宽大约在每秒 10 TB（terabytes per second）左右。这又是几个数量级的差距：HBM 容量大得多，但相对带宽小得多。

于是 Cerebras 的思路是：尽可能把更多的芯片晶圆连在一起。我们不再受限于台积电施加给我们的 800 平方毫米光罩极限（reticle limit），我们要把整片晶圆拿下来，让晶圆上的每一个芯片通过划切线（scribe lines）彼此互联。我们竭尽全力在整片晶圆上塞进尽可能多的 SRAM，比如单片晶圆能达到 50 GB 的 SRAM；然后再通过流水线等方式将多片晶圆串联起来，这样就能拥有高达 1 TB 甚至更多的极速内存。

你费尽周折做这一切，就是为了换取每片晶圆以每秒 21 PB 的速度从 SRAM 读取数据的能力。因此，你能够以极高的每秒 token 速率来运行这些语言模型，因为你可以在大约 1 毫秒内将像 Kimi 这样的大型模型的全部参数在逻辑核心之间搬入搬出。于是，通往每秒 1000 个 token 的路径就此打通了。

主持人：那你对这部分细分市场的预测是什么？

Neil Movva：我认为他们的未来会走向某种混合形态。我们必须把 Cerebras 芯片的强项——极速的内存访问——与拥有更大内存容量的硬件结合起来。因为你确实可以把像 Kimi 这样拥有 1 万亿参数的模型塞进大量 Cerebras 晶圆中，但你很难轻易解决 KV cache 的问题。

KV cache 是随着用户对模型的使用而不断膨胀的，它始终是动态的。你甚至无法预知到底需要多少 KV cache，这完全取决于你有多少用户、想要同时服务多少用户。

主持人：你能用通俗的语言解释一下什么是 KV cache 吗？

Neil Movva：没问题。每当你使用语言模型时，只要对话还在继续，你发送给模型的每一个 token 实际上都会停留在模型的上下文窗口中。如果我们聊了 100,000 个 token，那么第 100,001 个 token 依然能看到此前所有的对话内容，模型正是通过引用过去的全部对话历史，来更好地预测我们接下来要说的内容。

这个 KV cache 本质上是一大块内存，你必须为你发送给语言模型的每一个 token 存储一份表征。而且它的体积往往会变得比模型自身的权重还要庞大。我的理解方式是：模型权重中存储的是固化的结晶知识，而 KV cache 中存储的则是我们正在进行的这场对话的动态知识。

主持人：没错，这也是为什么有时候人们会发现，当对话进行到很深的时候，模型的表现开始下降，因为底层存在某种技术瓶颈。

Neil Movva：是的。KV cache 在这方面非常耐人寻味。KV cache 精确表征了之前发生过的一切，我们存储了在对话中见过的所有信息。然而在训练阶段，模型主要并不是在超长上下文对话上训练出来的，它主要是基于比如 8,000 token 或 16,000 token 的上下文训练的。

所以如果你把上下文拉长到 200,000 token，虽然在那个长度下也做过一定的训练，但那并不是模型的核心强项。因此，各大前沿实验室一直面临着一个挑战：如何让模型在 200,000 token 长度下的智力表现与在 10,000 token 时完全一样？这将是一场旷日持久的拉锯战。

虽然 100 万 token 的上下文窗口概念已经出现好几年了——Anthropic 应该是第一个达成 100 万上下文窗口的——但在我使用 Claude Code 时，我依然会在远未达到 100 万 token 时就输入 /compact 来压缩上下文。我认为把上下文真正撑满并不是什么好体验。

因此，这些主打极致速度、超低延迟的方案最终都会受制于这个因素。是的，对于模型权重你可以随心所欲，在权重存储上做到无人能敌的性能；但 KV cache 将成为你如影随形的巨大痛点。

主持人：那么在三年或五年后，你认为这类芯片会扮演什么角色？在异构芯片市场中它们能占据怎样的份额？

Neil Movva：像 Groq 以及其他几家公司，你应当把它们视为专用加速器。它们真正擅长的，是与传统的类似 GPU 的设备协同工作——而后者的关键特征是内置了大量的片外内存（off-chip memory）。你需要片外内存来提供大容量，需要片上内存（on-chip memory）来提供极致速度。

我们希望将这两者杂化融合。如果把 Transformer 推向极限——比如把上下文拉长到 100 万 token，最终的结果是：你会遇到一个计算受限的阶段，即针对 MLP（多层感知机）的实际矩阵乘法运算，模型大部分的世间知识都编码在其中；然后你还会遇到注意力层，在这里模型正在动态适应当前的对话内容。在极限情况下，注意力层通常是内存受限的，而在足够大的批处理规模下，MLP 在极限情况下则是计算受限的。

我认为 Transformer 的“原罪”就在于：它把一个本质上极度受限于内存带宽的层，和一个受限于计算算力的层紧挨着拼在了一起。单凭一颗芯片极难同时兼顾计算操作和内存操作。GPU 在这方面算是相当均衡的，但你往往必须有所取舍。Cerebras 在矩阵乘法等运算上拥有极快的内存访问速度，用 Cerebras 芯片来托管 MLP（即模型权重）非常合适；但 GPU 拥有扩展到超长上下文的内存容量，因此你可能希望把注意力机制放在 GPU 上，而把 MLP 放在 Cerebras 芯片上。我相信这也是 NVIDIA 和 Groq 之间正在发生的事情。

主持人：你能再多聊聊 Transformer 吗？你在解释核心概念方面非常通俗易懂，能否再向那些对 2017 年这一创新并不深入了解的人讲讲，它的优缺点到底是什么？你认为它在未来是否仍将是 AI 的主导架构？

Neil Movva：它的贡献在于让我们能够极其高效地在无监督数据上进行学习。因为归根结底，Transformer 所做的一切就是接收任意序列的数据，并尝试寻找其中的模式。

最关键的是注意力机制——这是 Transformer 的招牌组件。它允许模型动态调整权重，聚焦于它认为序列中最相关的部分。在 Transformer 的每一步推进中，你本质上都在对之前看过的输入重新赋予权重，并判断哪些内容与你的下一次预测最相关。因此它极度适合用来学习任意的序列数据。

而我们日常产生的最有趣的序列数据就是人类语言，这就是它如何在语言领域确立绝对统治地位的。但如果把视野放得更宽，我认为 Transformer 真正做对的事情在于它的可扩展性（scalability）。

Transformer 不做任何人类先验假设，它只是单纯地说：“只要数据序列中存在模式，如果存在，我就一定要把它找出来。我会向这个问题砸入越来越多的参数，直到它生效为止。”而且 Transformer 也极大地受益于计算机视觉领域的前期成果。

比如，计算机视觉早期的挑战之一在于，我们很难突破数十万参数的瓶颈——那是像支持向量机（SVM）等传统线性机器学习模型所能承载的规模，只有几千个参数。后来我们进入深度学习时代，在计算机视觉中达到了数千万参数，当时拥有约 1.5 亿参数的模型在视觉领域已经算是庞然大物了。而现在我们动辄谈论数万亿参数，Transformer 正是从数百万跨越到数万亿参数的桥梁。

主持人：所以如果把扩展的关键要素视为数据和算力，是否意味着 Transformer 会一直存在下去，因为我们最擅长的就是获取更多的这两样东西？

Neil Movva：数据目前还是个悬而未决的问题，但算力方面确实如此。Transformer 简直就像巨大的海绵：只要你把提供给它的算力增加 10 倍，你就能在某个指标上获得对数级的性能提升。到目前为止，扩展定律（scaling laws）依然有效，它确实非常优美。

回到“Transformer 究竟擅长什么”这个问题上：无论你扔给它什么数据集，它几乎都能直接泛化适用，它们是极其强大的通用学习器。

我认为 Transformer 相较于其他试图取代注意力机制的技术，特别有用的一点在于：Transformer 可以表征你想要的任意两两配对关系（pairwise relationship）。

序列中的任何 token 都可以与序列中的任何其他 token 进行注意力计算。因此，只要序列中存在任何关联，Transformer 就一定能捕捉到。现在的情况可能是，你未必需要这种“全对全（all-to-all）”的建模，并不是每个 token 都非得看遍其他所有 token 不可。但只要你需要，Transformer 就能提供这种能力。

在我们找到更好的方法来修剪这个空间、找到更好的方法进行选择性信息建模之前，注意力机制都是一个极其优秀的操作。这也是我们在计算机视觉时代学到的另一个诀窍。正如 Andrej Karpathy 过去常说的一句名言：如果你有一个想要训练模型的新数据集，你的首要目标应该是让模型过度参数化（overparameterize），尝试去过拟合现有的数据，以此证明数据中确实存在你可以建模或记忆的关联，证明你的学习算法是有效的，证明你可以把知识灌输给模型。一旦你能够做到过拟合，你就可以进行压缩，而压缩正是获得泛化能力（generalization）的途径。你并不想真正死记硬背眼前的数据，你想要的是泛化能力；因此，一旦你过拟合了数据集，你就可以反向推导，尝试找出能塞进尽可能小参数量中的通用模式。

06 / 互联网数据被吃光了，下一代智能靠沙盒里的自我博弈

主持人：你对数据的未来有何预测？在这个故事里，数据的重要性究竟如何？

Neil Movva：我很喜欢一句话：互联网是对数据的一次性补贴。我们曾经免费得到了它。那是极高质量的数据，大约有 30 万亿 token 的高质量文本；如果把所谓“好文本”的标准放宽，大概有 300 万亿 token。

而到目前为止，我们基本上已经把它们全部翻了个底朝天。现阶段模型已经把整个互联网的数据看了好几遍。来自互联网的人类数据已经没有太多文章可做了。在我看来，数据的下一个阶段是通过强化学习（RL）环境沙盒（gyms）实现模型自我进化。

事实上，我们甚至无法再从更多普通用户与 AI 的交互中获益了。过去，我们极度看重的新型数据来自人们使用 ChatGPT 时的交互数据，用户向 ChatGPT 提供他们喜欢或不喜欢的信号。但我现在的观点是：我们所部署的普通模型，其先进程度已经远远超越了一个随意给出反馈的普通人类，来自普通人类偏好的信号在今天已经毫无价值了。 在当下，你必须需要专家级的人类偏好。模型已经超越了普通大众。

主持人：超越了普通老百姓。

Neil Movva：没错。所以在我看来，数据的未来在于给模型分配高难度的可验证任务，让它在这个相对隔离的沙盒里运行，只要它面对一个可以取得进展的问题，并且能够衡量自己是否取得了进展即可。你可以想象编程问题就属于这一类，数学问题也属于这一类。

而且越来越普遍的是，我们基本上可以直接给 agent 一台电脑，让它像人类员工一样工作，只要针对它是否朝着目标结果取得进展给予反馈即可——那个交互环境本身就变成了数据。我认为这算不上什么独家秘诀，但从我目前的观察来看，这种方式极其卓有成效。

主持人：你认为这种模式会持续相当长的时间吗？还是说，如果把互联网数据看作是一大块宝藏，这不过是另一块宝藏，等它风光一时被我们榨干之后，我们又得转向别的东西？

Neil Movva：我认为这比那要深远得多。其核心逻辑在于：如果你想要实现通用人工智能（AGI），最佳路径就是不断叠加各种专用智能，直到填补完所有的能力空白。而这里的唯一检验标准、确保其行之有效的唯一前提，就是任务必须是可验证的。

你必须给模型配备一个自我评分系统。只要拥有这个系统，你就掌握了在任何你喜欢的任务上实现自我进化的配方。我认为前沿实验室的资金投向也印证了这一点：他们过去在静态数据上砸重金，现在则把更多预算花在强化学习环境上。这些环境精准捕捉到了在可验证任务上进行递归自我进化的逻辑。

主持人：好。我很喜欢我们刚才探讨的这些延展话题，但让我们言归正传，回到你最初的目标——通过软件更深入地掌控硬件底层的运行机制，从而让现有硬件发挥出更高的效率。继续讲讲你们目前为止所做的事情以及接下来的规划，然后我们会切入硬件，并最终探讨能源问题。

Neil Movva：好的。我刚才提到了算子（kernels）。令人惊讶的是，很多人以为算子开发已经走到头了。确实有像 Tri Dao 这样顶尖的大牛写出了极其出色的算子，构成了我们整个现代深度学习大厦的基石——现代 Transformer 就是构建在 FlashAttention 之上的。但只要你稍微偏离常规路径，比如出现了一个采用了微调位置编码嵌入（如 RoPE 系统的变动）的新模型，我们原有的算子突然就不适用了，我们可能就必须为这个算子打个补丁。

我不敢说我们已经到了必须从零发明全新算子的阶段，但拥有快速修改现有 GPU 算子的能力至关重要。历史上看，算子往往被封装进函数库中，每个算子都有着极其明确的单一用途。通常情况下，矩阵乘法对应一个算子；哪怕简单如加法——把两个张量相加，也是一个单独的算子。

而现在我们越来越倾向于将这些算子融合（fuse）在一起。如果我执行了一个矩阵乘法，然后想把它与另一个乘完的矩阵相加，也许这两个操作可以合并成一个算子。我直接把运算融合起来，这样就不用先将数据写出到 DRAM、然后再读回来只为了做个加法，而是可以直接轻而易举地一气呵成。

主持人：为什么人类还在亲手做这件事？按理说，设计更高效的算子正是 AI 极其擅长的事情。也许我们正在朝那个方向走，只是还没完全达到。但如果还没达到，为什么人类依然在手动做这件事？为什么像 Tri Dao 这样的人如此声名显赫？连我都知道他的大名。

Neil Movva：我不想替 Tri 代言，但他教给我的一点是：你其实已经不一定需要纯手工手写算子了。我常说，我们现在是在白板上写算子。我们走到白板前，梳理出我们认为机器应该如何运转，然后用自然语言向模型简洁地描述出来。随后模型就能够接手执行细节：“好，这是输入和输出，这是我们向 GPU 分派这部分计算的策略，我去负责实现代码。”

主持人：所以人类负责概念设计。

Neil Movva：没错。我不确定为什么目前的模型在自动做这件事上还不够出神入化，但我不认为这能成为我们不可逾越的护城河。我相信在 6 个月内，我们在算子工程方面就会拥有强大得多的模型，而且前沿实验室肯定会告诉你，他们内部的大量算子工程已经实现了全自动化。

主持人：所以将软件作为壁垒——如果将软件定义为无限逼近光速极限、极致高效地利用底层硬件，随着时间的推移，这是否会逐渐不再成为像你们这样的公司的核心优势？

Neil Movva：确实如此。像 Mythos 或 GPT-5.6 这样的大模型是水涨船高、普惠所有人的。我其实觉得单纯专注于“让模型只在算子工程上表现更好”并没有太大意义。我认为这并不是整个编程领域（尤其是算子工程）中最有价值的子集。也许在 prompt 中注入某些特权先验信息是指引模型写出更好算子的有效手段，但广义而言，在这一能力层面，我们所有人都处于行业前沿模型的下游。

主持人：我一直很喜欢能源史上的一个规律：在原始资源（比如煤炭）与利用效率之间总是存在着钟摆运动。如果一块煤炭中蕴含着一定量的能量，我们能提取并利用其中的百分之几？能源史的很大一部分篇幅，就是在讲述如何把这个利用率从 10% 提升到 95%。如果把 Blackwell 芯片比作那块煤炭，你觉得我们现在处于什么水平？今天我们对单块现有芯片的利用效率到底有多高？

Neil Movva：分析这个问题的角度有很多。我认为在某种程度上，当 GPU 在做它最喜欢做的事情——也就是大尺寸矩阵乘法时，我们对性能的优化已经极其高效了。那种操作可以达到峰值利用率的 70% 到 80%，它受限的不再是软件，而是功耗。

NVIDIA 标称的峰值 FLOPS 略显乐观，由于功耗墙降频的原因你永远达不到那个数字；但除去散热发热的因素，达到 70% 到 80% 的饱和度已经相当不错了。然而在实际运行 Transformer 时，大部分时间你并不会处于“执行大批次矩阵乘法”的理想路径上。

因此，我们的任务本质上是围绕芯片构建引擎，确保持续不断地向 GPU 喂入这种大批次的工作任务。在过去一年里，GPU 领域发生的最深刻转变之一就是：你不再是一次对单个 GPU 进行编程，你必须把整个机架（rack）作为一个整体来思考，甚至要把整个集群、整个数据中心当作一个整体来思考。

以 NVIDIA 为例，他们现在出货的不再只是单张 GPU 或单张主板，而是规定了整个机架系统——他们称之为 NVL72。他们的最新芯片 Grace Blackwell 300 就是以包含 72 个单元的机架形式出货的。如何尽可能高效地对整个机架级计算机进行编程，成了一场公开的竞速。我相信这种计算形态代表着效率与速度的未来。

事实上 NVIDIA 已经做到了极致：如果你想要最低的延迟，你应该使用那款芯片；如果你想要最高的吞吐量，目前来看你也应该使用那款芯片。这一切都归结为一个全新的编程范式。

07 / 世界上没有烂芯片，只有糟糕的定价：在不受待见的硬件里做算力套利

主持人：常听人说，顶级芯片（比如 Blackwell）的市场现在就像地下黑市一样火爆。大家都极度短缺，为了抢到尽可能多的芯片，各种光怪陆离的事情层出不穷。我很想听听你对这个比喻的看法——事实真的如此吗？另外也请聊聊非尖端芯片的市场是怎样的：如果我愿意接受性能略逊或中等水平的芯片，那个市场又是一番怎样的景象？带我们走进那个世界吧。

Neil Movva：好，有几点可以聊聊。第一，NVIDIA 对其所有芯片都有着长远眼光。他们看到了对 Blackwell 芯片的狂热需求，他们完全可以像其他供应商过去那样直接大幅拉高价格，让供需曲线在某个高点相交，理论上皆大欢喜。

但 NVIDIA 明白，如果任由资金最雄厚的买家买走所有芯片，长远来看可能会损害自身利益，因为那会让特定客户积聚过大的话语权。他们深知在今天“算力就是权力”，因此在算力配额的分配上极具战略考量。这是第一点。

第二点，人脉关系至关重要。没有人愿意接一家成立才几个月的新初创公司砸过来的巨额租赁订单——对方声称“我们要租 10,000 张 Blackwell，租期三到五年”，谁知道他们能不能付得起钱？在如今的市场上，说服别人向你开放算力极其困难，需要要么拥有极硬的关系网络，要么在 NVIDIA 阵营拥有令人难以置信的雄厚资本背书。

这全都是因为短缺程度太高，而需求简直爆表。至于其他芯片，我甚至不会称它们为“劣质芯片”。我常说：世界上没有坏芯片，只有糟糕的定价。只要价格合适，我能让任何芯片派上用场。这是我们公司的核心信条之一。

我们来谈谈 AMD。我认为 AMD 的芯片整体上非常优秀。挑战在于大家不太懂得如何针对它们进行高效编程。正如我刚才所讲，我们拥有极其出色的算子团队，我们对压榨硬件性能极其执着。

坦白说，NVIDIA 自家芯片的性能已经压榨得相当好了，我们能挤出的超额收益（alpha）有限；但在其他芯片上，我们可以大有作为，因为厂商在提供开箱即用最佳算子方面下的功夫不如 NVIDIA 那么多。

更让我欣喜的是，市场普遍存在一种“AMD 不如 NVIDIA”的偏见。这对我来说简直是天籁之音！我非常乐意看到别人低估这颗芯片，好让我以尽可能低的价格大批买进。当然，这种认知偏差现在也在逐渐消失了。AMD 在一些大型买家中其实已经相当受欢迎——公开信息显示 Meta 和 OpenAI 都采购了大量的 AMD 芯片，所以我们看到 AMD 的产能也开始被瓜分殆尽。但在它们身后，还有一条由新兴创企组成的漫长长尾，比如 Etched、SambaNova、d-Matrix 等等，这些新公司都在崭露头角。

我认为他们面临的主要挑战是规模：能否从台积电争取到足够的晶圆配额来向市场铺货？但只要市面上出现一款新芯片，我都希望第一时间获悉，并评估我们是否能够吃下其很大一部分产能。

主持人：所以对你们而言，这本质上是一场套利。如果你能远比其他人更擅长从那些不受重视的芯片中压榨出性能，你就能以可观的利润率转售算力，这会是一门极好的生意。

Neil Movva：一点没错。这倒不是说其他人能力不行、搞不定这些芯片。我认为我们在多芯片架构适配方面确实是全世界最顶尖的团队之一，敢于在常人意想不到的地方激进地榨取性能。

但更关键的在于我们围绕新芯片搭建软件栈的反应速度。我们没有沉重的历史包袱——比如数据中心服务商被某类特定芯片绑死，导致部署全新芯片变得极其痛苦。

我们有一些非常具有创新精神的数据中心合作伙伴，他们行动极为敏捷，稍后我们可以聊聊这类新型伙伴。

最重要的是，我们从不畏惧挑战。很大程度上，这就是一种魄力：TPU 我们喜欢，我们要让 TPU 跑起来；Trainium 我们也喜欢，我们要让 Trainium 跑起来。如果一开始不好使，我们就想方设法把它融入异构服务系统中。每颗芯片都有其比较优势，我们的职责就是找到那个优势，并在这个方向上榨干它的价值。

主持人：在我们进入硬件、数据中心和能源等核心板块之前，先插一个话题。我很想听听你对投资人群体担忧的看法。比如看看存储芯片股票，或者我最喜欢的一张图表——半导体行业在标普 500 指数中的市值占比：历史上它通常只有 2%、3%、4%，而现在达到了 19%、20%、21%。

如果你熟悉市场历史，就会知道历史上很多资产都在短期内冲上某种疯狂的顶峰，然后暴跌回归长期均值。我想知道这是否让投资者感到人心惶惶？

Neil Movva：是的。很多人在美光和 SK 海力士等公司身上赚了大钱，但大家都觉得，长远来看算力只是一种大宗商品，它不可能占据全世界总市值的四分之一或五分之一，因此感到害怕。

大家承认眼下存在严重短缺，但心里总觉得“我们迟早会解决短缺，这些估值最终会回归资本市场的常态”。我很理解这种叙事。但我不太算是一个“历史的学生”，我更像是“历史的亲历者”。

我出生于 1997 年，2000 年互联网泡沫破裂前夕，我母亲正在 Intel 工作。我记得当时思科（Cisco）是全球市值最高的公司，Intel 紧随其后。我常常将 25 年前的那个历史时期与今天做对比。

我认为核心区别在于：当年对网络设备的很多投资完全是投机性的，大家预期未来会出现海量用户需求，但那些需求当时并未如期而至。而今天的 token 消费或广义上的 AI 消费截然不同，它不再是投机。人们购买 token，是因为它能立即产生价值。你不会把 token 囤积起来，而是立刻用掉。

这甚至与两年前 2023、2024 年 Hopper 芯片短缺时期完全不同——那个时期的支出全都是面向模型训练的，而训练在本质上具有投机性。如今，各家公司都在为员工在 Claude Code 上的花费设定上限。谈论推理支出并预测推理支出增长，是一个完全不同的逻辑。我认为推理支出只会单调递增，在推理支出上不存在投机泡沫。

08 / 95% 可用率的小机房才是推理的性价比之王

主持人：回到你对硬件的看法。单点硬件层面很有意思——我们聊了芯片、机架和集群。接下来我想聊聊数据中心。你提到有一些有趣的合作伙伴在做很酷的事情。跟我们谈谈你所看到的数据中心现状与未来吧。因为在整个推理服务链条中，数据中心显然是极其关键的一环，这个领域正在涌现大量创新，而你们显然高度聚焦于此。

Neil Movva：我认为我们对话的一个核心主题反复回到了“训练 vs 推理”的区别上——这两类工作负载到底有何不同？两年前以训练为主导，与今天以推理为主导，究竟有何不同？我认为整个 AI 技术栈中最保守的玩家绝对是基础设施提供商，无论是数据中心，还是更为保守的芯片代工方台积电。

从历史上看，AI 数据中心都是为训练而生的，而训练在工作负载上是推理的超集：任何训练集群都可以用来做推理，但反过来却未必行得通。核心区别就在于网络互联——你在芯片之间的互联带宽上投入了多少，以及你需要多大规格的集群？

在某种程度上，数据中心其实存在规模不经济（diseconomy of scale）：在单一数据中心塞进 100,000 张 GPU 的成本和难度，要远远大于塞进 10,000 张，更远大于塞进 1,000 张。现在大家都在谈论你手里有多少兆瓦（MW）或吉瓦（GW）的电力。

目前在美国要想轻松建起一座吉瓦级的数据中心，基本上已经不可能了。哪怕是 100 兆瓦也变得越来越难，除非你是极其特殊的特定大客户，否则几乎难以办到；10 兆瓦大概处于当今可行性的边缘；而 1 兆瓦的容量则极其充裕。因此市场上存在着一个巨大的机遇：你可以找到大量的分布式总电量，但它们并不集中。

这对建设训练数据中心的人来说毫无吸引力，因为大家都理所当然地认为所有算力必须集中在一处，没人想去处理跨数据中心的分布式训练。市场存在严重的滞后性。

我从很多数据中心开发商那里听到的态度依然是：我们必须竭尽所能去搜刮那些 100 兆瓦和 10 兆瓦的数据中心。但我们看到，越来越多具备前瞻思维的新玩家开始意识到：推理极其适合这些分布式的 1 兆瓦小型数据中心。我们对此深表认同，并且非常乐意在全美各地收购小型算力池，用作我们的推理算力舰队。

主持人：给我们描述一下 1 兆瓦和 10 兆瓦在物理空间上大概有多大。

Neil Movva：随着液冷技术的普及，这个概念变得非常颠覆。现在你可以在单个物理机架中塞入极其惊人的功率密度。过去 1 兆瓦的算力，你会联想到一个巨大的机房大厅，基本上相当于一个大型仓库；而现在，你实际上可以把 1 兆瓦压缩进大约 8 个机架中。每个机架大概就一台冰箱大小，你只要想象 8 台冰箱排成一排——没错，那就是 1 兆瓦。

主持人：所以你的愿景是：你希望参与构建的未来，是由各种不同类型的芯片协同工作构成的。你作为买家去采购这些芯片，并从每颗芯片中压榨出极致性能；然后把这些芯片部署在极小规模的数据中心里专做推理。这两步走——搜罗大量被市场低估的闲散算力、凭借自身能力压榨出更多性能，再加上以小型单元形态分布在数据中心——就等于成本大幅降低的智能。

Neil Movva：我坚信如此。只要你能对所接收的硬件保持创造性，获取低价 FLOPS 的途径有很多。我常这样描述我们的业务：我们愿意在世界任何地方、以任何时长采购任何芯片。这种灵活性和流动性是目前其他人所不具备的。

我们极其坚决地言出必行，真正接纳任何算力产能，并在我们的舰队中找到让它发光发热的方法。这是我们当下的巨大优势。从长远来看，我们必须通过投资那些令其他人心存疑虑的数据中心来进一步扩大这种优势。

因为你想想看，当你部署一千个小型数据中心军团，而不是单一庞大的吉瓦级数据中心时，会发生什么？

首先，通常你不会配备电力冗余，现场不会有备用柴油发电机——那些东西极其昂贵，我们把这些开销全部砍掉了；在很多情况下我们甚至不配备冗余网络，我们把设备放在电力接入良好、拥有单一电源的场地，向这些数据中心拉一条光纤走线，但绝不会搞三条光纤做冗余备份、故障转移和严苛的 SLA。

它有时候就是会宕机。甚至有些站点的正常运行时间（uptime）可能会掉到 95%——这在其他人眼里糟糕透顶，甚至是致命的缺陷。

主持人：对于一个正常运行时间只有 95% 的数据中心，在主流市场上基本上一个买家都找不到。

Neil Movva：我就是那个第一个买家，我愿意买下 95% 可用率的机房。原因正是在于后台运行机制——当任务是在后台运行时，你根本不在乎偶尔的抖动。

这主要得益于两点：第一，我们拥有极其强大的控制平面（control plane），只要单个数据中心的故障与其他数据中心不相关联，它完全能够平滑处理任何单一站点的故障，我只需将工作负载迁移到其他地方即可；故障以一定概率发生，对于 95%、98% 还是 99% 可用率的数据中心，我的满意度基本上是线性对应的。

第二，你确实需要我刚才提到的异步特性，因为我们服务的是长周期运行的 agent。当一个请求失败时，我必须寻找新的 GPU 来接管这个请求。这意味着在 agent 运行的某一个单轮步骤中——比如它已经连续跑了一个小时，突然因为 GPU 下线而卡壳——在那个时间点，这个 agent 可能会多经历一两分钟甚至十分钟的延迟。

但我认为我的客户根本不在乎，因为他们的 agent 本来就要运行数小时，用户当时正在睡觉，这根本无关紧要。单轮任务偶尔变长一点没有任何实质影响。因此我们坦诚地告诉客户：看，我们的平均吞吐量极具竞争力，但我们的 P99（99 分位）延迟是不可控的，也不可能受控；作为交换，我将为你提供无可匹敌的极致性价比。我认为这与后台 agent 是绝配。

主持人：聊聊电力这个领域吧。你看到了哪些有趣、具有创新性的东西？你认为未来会走向何方？

Neil Movva：刚才我说我可以接受数据中心 95% 的可用率。如果价格合适，我甚至能不能接受 80% 的可用率？很可能可以。

主持人：这意味着什么？

Neil Movva：我是加州的孩子，我热爱太阳能和风能。我认为太阳能和风能在美国的利用率远远不足。其核心挑战一直在于间歇性（intermittency）。过去人们甚至认为太阳能和风能根本不适合数据中心，因为数据中心需要持续稳定的基荷（base load），而这种电源是断断续续的。那你该怎么办？

我认为我们距离解决这个问题其实并不遥远。我的数据中心完全能够容忍以天甚至以周为单位的断电——对传统数据中心来说这是毁灭性的噩梦场景：因为没有风、天空布满阴云、山谷被大雾笼罩多日而导致长期断电。

但事实上这是高度可预测的，只要发生这种情况，我随时可以调用世界其他地区的算力产能。我只需建立天气模型，预测我的数据中心何时会离线，然后把数据和工作负载迁移到别处就行了。

关键在于，这能让我以极低成本获取其他人碰都不敢碰的电力资源，因为处理这种断电对别人来说太痛苦了。只要我的芯片足够便宜（它们大概率不会是昂贵的 NVIDIA 机架），我就完全不在乎闲置芯片所带来的沉没资本成本。

主持人：我听你把这整套体系称为“拾荒者战略（scavenger strategy）”。能为我们深入剖析一下这个比喻吗？

Neil Movva：首先我们“捡拾”被遗落的芯片，然后为这些芯片“捡拾”闲散的电力。在这两个维度上，我都绝对不想去跟 Anthropic 或 OpenAI 竞价争夺算力配额。我希望更具创造力，利用那些在他们看来根本无法入眼的供给。

久而久之，我积攒了足够庞大的分布式总供给——我永远无法获得集中的单点供给，我只能拿到聚合的总供给。假以时日，我就能建立起一座在经济效益上无可匹敌的聚合型大工厂。我们在建造一座工厂，试图打造全世界最好的钢铁厂；但它是通过遍布各地的“小型钢厂（mini mills）”来实现的，而不是通过单一庞大的巨型钢铁基地。

主持人：如果设想这套模式的不同版本——你们在垂直整合上能走多深？一种极端是全产业链自持：重资产模式，自建电源、自建数据中心、自研芯片、自主掌控压榨芯片性能的软件，并直接把最终产出的 token 卖给终端用户（比如卖给我），由你掌控整个技术栈。但你也可以设想许多其他排列组合——资产极轻，什么都不持有，仅仅充当串联这一切的调度协调中枢，做一个纯虚拟的拾荒者。你怎么看待“成为哪种类型的企业”这个问题？

Neil Movva：面对这个问题，我内心其实有两个自己在回答。

一个是身为公司的 CEO，必须每天踏实工作，推动公司尽可能稳健、迅速地增长；另一个则是身为创始人，创始人的一面更具想象力，骨子里深爱着这一切。我体内的创始人渴望包揽一切。这是我一生的志向所在，我整个人生都在思考芯片、电力和能源，我关心的全都是这些东西。

所以我当然希望能追求最大的雄心，永远不设上限，直到从头到尾（from soup to nuts）构建出最高效的系统。

主持人：你基本上是在现实世界里玩《异星工厂（Factorio）》。

Neil Movva：非常贴切，确实如此。这是感性、发自内心的答案。但在 CEO 这一面，我们必须更加务实。正如你所说，如果样样都要自己持有，所需的资本规模是天文数字。

软件具有极高的杠杆效应，所以我们必须从软件切入。但最终，我们是否要自建发电设施，还是与公用电力事业机构签订优质的购电协议（PPA）？我更倾向于让专业的人做专业的事，先看看我们能否达到那个规模。

我的想法是：我要先做到足够的规模，从而赢得将这些能力纳入麾下的资格。我坚信整个技术栈的各个层级都存在巨大的效率提升空间。只要你能打破上游供应商对于“客户画像”的既定假设，机会就属于你。

这是一种相当乐观的视角。我认为之所以能够实现，是因为我们正在尝试为计算史上最庞大的算力市场进行承保。未来在推理领域将注入数千亿甚至数万亿美元的投资。正因为这种聚焦，围绕推理进行大量的定制开发才变得极具商业合理性。

我的任务就是寻找所有可能实现定制的地方。当这些机会对我与合作伙伴变得显而易见时，我会推动他们为我进行定制化开发；如果他们做不到，我就自己亲自动手。

主持人：如果把视野放大到这整个系统——软件、硬件、能源等，让你对当今在生产有价值的智能 token 过程中“最低效的环节”进行排序，这张榜单会是怎样的？

Neil Movva：我认为算力扩展（compute scaling）本身实际上已经非常高效了。只要你给我更多 FLOPS，我就能用掉更多 FLOPS。而且可以说，我们在 FLOPS 的使用上已经相当克制了。看看现代模型，激活专家比例超过 10% 的模型凤毛麟角；而在前沿模型中，这一比例甚至接近 1%。模型已经相当稀疏化了。

我不认为我们在 MoE（混合专家模型）架构上浪费了太多算力，大家钻研 MoE 已经很久了，非常擅长压榨其效率。我们真正低效的地方在于注意力机制及其对内存的使用。

具体来说，目前的 KV cache 几乎毫无压缩可言。如果你去分析 KV cache 中的信息熵，它所承载的信息量根本配不上它占用的空间。我们为每个 token 在 KV cache 中存储了数 KB 的数据，这大概存在一到两个数量级的冗余。虽然我不知道前沿实验室内部是如何处理的，但 DeepSeek 确实公开发表了非常有价值的研究，致力于不断压缩 KV cache，并且取得了很大进展。

他们能以每年一个数量级的幅度取得突破，说明这当中还有巨大的优化空间。这是微观层面的问题。如果把视野放得更宽，我认为我们根本没有对全球算力进行有效调度。世界上有这么庞大的算力存量，NVIDIA 仅在今年就要出货 500 万张 Blackwell 芯片。

主持人：它们都去哪儿了？它们全都在被全天候高负荷运转吗？

Neil Movva：我深表怀疑。我认为在某种程度上，我们迫切需要对全球算力进行更好的统一编排。这非常困难，因为大量算力沉没在永远不见天日的私有算力池中，那些 GPU 极其悲凉地处于闲置状态。

看到耗费了宝贵硅片和电力的 GPU 就那么干坐着闲置，我在肉体上都会感到心痛，我极度渴望改变这种现状——把全球算力组织编排为一种共享资源，并更紧凑高效地进行负载打包。大家经常调侃 xAI 的集群在总体 FLOPS 利用率上遇到困难，但现实是全世界其他地方的情况要糟糕得多。海量的 GPU 就堆在仓库里，或者闲置在分配给特定客户的私有算力池中，根本得不到充分利用。

主持人：你们正在极其直接地攻克这种低效，这种做法见效要快得多。那晶圆代工厂（fabs）呢？你如何看待晶圆厂本身的未来？大家都在好奇：存储芯片厂商、台积电、Intel 等将如何扩充产能？我们能否在美国本土实现扩产？聊聊芯片制造本身吧——如果我们能打个响指，让现存芯片数量瞬间暴增 100 倍，token 成本大概会便宜得多。所以这显然是一个必须听取你见解的重要维度。

Neil Movva：万事万物都是在相互制衡中共同增长的。就算打个响指把一切翻倍，你解决了台积电的瓶颈，马上又会撞上下一个瓶颈。你多生产 20% 的芯片，立刻就会遇到新的卡点。

不过值得玩味的是，晶圆厂眼中的“硬性指标”与我所看待的有所不同——他们认为客户（比如我）永远需要某种绝对的一致性，而我认为这是一种更加灵活的博弈关系。如果晶圆厂愿意向我开放更多权衡空间，我就能做出更明智的决策。

一个最有趣的例子是：任何晶圆厂产线上下来的芯片，其体质最差的芯片与体质最好的芯片之间都存在很大的离散度，芯片良率与性能存在巨大方差。像台积电这样的公司会极其努力地去收紧所谓的工艺角（process corners），希望让最差芯片的电气特性尽可能贴近最好芯片，他们在这方面下了极大的功夫。

但这意味着他们在工艺流程中加入了大量的管控措施，而这些管控我未必需要。我其实非常乐意为那些体质较差的芯片找到归宿。你不需要为了追求极度的工艺一致性而耗费额外的时间和成本，我甚至愿意接纳更多的降规品或瑕疵品。

对我们来说，这是一个更加全局的优化方程——涵盖晶圆成本、晶圆供给，以及电力成本和部署场地。我的终极目标是大幅扩充全美可用的电力供给，从而为大量原本根本不配进入传统数据中心的芯片找到容身之所。

主持人：能聊聊你是如何设计自己公司的组织体系的吗？你学到了哪些经验？你刚才提到了在 NVIDIA 学到的一些精彩启示，带我们走进你的企业文化，看看你如何围绕这一北极星指标来搭建团队和业务。

Neil Movva：我认为核心在于大量的“极限思维（in the limit thinking）”。我们不纠结于眼前——比如当我们刚开始为一个模型做适配时，效率往往并不高；但我们会思考一个月、六个月或一年之后我们能达到的终局状态。

我们绝不把机器的现有状态视为不可逾越的定数。即便是像 Blackwell 这样的芯片，只要我们认为存在阻碍我们达成极致性能的瓶颈，极其重要的一点就是我们要彻底剖析并精准刻画出这个瓶颈，并记录下来——这一方面可以反馈给 NVIDIA 的朋友，另一方面也为我们未来采购新芯片提供决策依据。

我们希望提炼出那些对我们或公司具有长期指导意义的底层规律，并融入未来的决策中。我们的团队高度注重协作。我们招聘时最看重的特质之一，是这个人既要是一个善于吸收的好学生，又必须是一个乐于分享的好老师。

我们团队里的很多人在大学时都当过助教（TA），非常享受这种传道授业的过程。我们整天泡在白板前研讨，这种每个人都有所教、每个人都有所学的学院式氛围对我们至关重要。

主持人：三年之后，当更多的工作都被机器接管时，你希望招募具备哪些特质的人，能在那样的环境下依然保持竞争力？

Neil Movva：好奇心，100% 取决于好奇心。有一件事我是无论如何也教不会的，那就是对“性能极限”的热爱——对深挖机器运行的每一微秒并洞悉其底层细节的狂热。对我来说，这是性能工程师最重要的品质，也是我唯一看重的东西。

我不强求丰富的 AI 经验，甚至完全不在意你有没有 CUDA 经验，那其实是一个巨大的误区。CUDA 和 GPU 的概念在过去 5 年里发生了翻天覆地的变化，要求 10 年经验毫无意义。这些技术我可以教你，但我教不会你对性能工程发自内心的热爱。这才是我的寻宝目标。

09 / 扩散不可阻挡：3到6个月的闭源代差，撑不起高昂的溢价神话

主持人：你能逐一评价一下各大前沿实验室吗？另外，闭源阵营与开源阵营之间的关系正在发生什么、未来会走向何方？

Neil Movva：前沿实验室为了保持领先其他人 3 到 6 个月，付出了极其高昂的溢价。我认为这在目前依然是值得的，OpenAI 和 Anthropic 采取这种策略完全合情合理。

不过围绕“模型蒸馏（distillation）”存在一个敏感话题，它是闭源前沿模型与开源生态之间关系的核心纽带。

对此我想提供一个不同的视角：有人认为蒸馏就是盗窃，觉得只要你基于前沿模型的输出来做蒸馏，就是在窃取他们的心血。

但事实是，即便你毫无此意、从未主动去爬取 Anthropic 的数据，互联网上由 AI 生成的产物比例也已经越来越高了。单看 GitHub，过去一年新建的代码仓库中，有多少比例是由 Claude Code 生成的？这算不算蒸馏？因为单靠这些代码可能就足够了。

如果有人仅凭 GitHub 上被视为优质开源代码的 AI 输出，就能训练出一个媲美 Fable 级别的模型，我丝毫不会感到意外。

既然用户拥有他们与 AI 交互产物的所有权，并且选择将其公开发布在 GitHub 上（大量用户确实如此），那么这种“隐性蒸馏（latent distillation）”将在很长一段时间内持续存在。

在我看来，想要彻底阻断信息或模型能力的扩散在根本上是不可能的，扩散必然发生，唯一的变量只是速度快慢。那么接下来的问题就变成了：扩展与进化定律是会永远成立，还是能持续很长一段时间？

如果扩展定律持续有效，那么保持 3 到 6 个月的技术代差就有其商业价值，只要这种领先还在，他们就能对这些前沿 token 相比于廉价的开源 token 收取高昂的溢价。

主持人：这样理解对吗？

Neil Movva：有可能，但我不知道这种 3 到 6 个月领先优势的溢价还能维持多久。看看企业级部署，企业的迭代根本不是按 3 到 6 个月的节奏推进的。很多企业可能至今仍停留在 Opus 4.6 或 4.7 上。他们不会盲目迅速地拥抱最前沿的技术，在推行任何系统变更时企业内部都充满了各种顾虑。

我认为我们目前仅仅触及了行业冰山的一角，根本无法妄下定论说这场竞赛谁是赢家，我甚至觉得这场长跑永远不会有终局。这是一个持续演进的过程，而且开源在根本上绝不会消亡。

哪怕某位领头羊退场留下了真空，也立刻会有新的领军者补位。开源背后的动力和顺风太强劲了——训练一个前沿级别模型的门槛正在变得越来越低。

主持人：那么你所希望看到的未来是什么样的？闭源与开源之间会达成怎样的平衡？模型大厂凭借掌控全栈的优势包揽一切（比如 Anthropic 这么做，成为新一代 Google，或者 Google 亲自下场这么做），你希望未来的图景是怎样的？

Neil Movva：我渴望看到充裕泛滥的 token 和百花齐放的适配框架（harnesses）。我希望每个人都能搭建属于自己的框架，每家企业、甚至每位用户都能把 agent 塑造成专属于自己的形态。我们距离这种级别的定制化和能力普及其实已经不远了。

我希望人们能真正拥有自己的智能所有权，而这种智能的定制大概率不是通过微调模型权重来实现的，而是更多依赖上下文学习（in-context learning）。这是更偏技术的细节。

但支撑这种“丰裕未来”的底层原料，归根结底就是廉价的 token。我的使命就是让人类能用上尽可能最廉价的 token。我一定会实现它，并且会调动技术栈中向我开放的每一个层级来达成目标。我深爱供给侧的杠杆：我将用尽每一颗芯片、用尽每一种电力来源，并用好全美每一块适合部署算力的土地。

作为回报，人们将拥有足够的动力去探索“拥有无限智能”究竟是怎样一番体验。我们现在依然把 agent 当作咨询费用高昂的专家，只有遇到难题时才舍得请教。这绝不是对待智能的正确方式。机器能够思考这件事太不可思议了，我们应当竭尽全力将它交到尽可能多的人手中。

10 / 商业的本质是套利

主持人：你身处如此独特的生态位，为了将这一未来变为现实，你拥有着极其独到的视角。相比你那些对行业极为了解且充满兴趣的朋友，你认为自己最离经叛道、最特立独行的观点是什么？你有哪些想法会让你的朋友觉得你像长了三颗脑袋一样不可思议？

Neil Movva：我想大部分都集中在对芯片的看法上。

主持人：每当你谈到定制芯片，朋友们问你“这有什么不同”时，你的核心思路其实是绕开 HBM 短缺的死胡同，专注于将负载更极致地卸载（offload）到闪存（Flash）等其他形式的内存介质上。

Neil Movva：我对这个想法极其执着。团队里的每个人都知道我天天在念叨：我们必须对模型架构做出怎样的改造，才能让将 KV cache 大规模卸载到闪存上变得切实可行？我一直在白板上推演这个方案。

在推理工程社区内部，当我们围绕着“专为每秒输出 1 到 10 个 token”来设计系统时（这是我们的核心北极星指标），我们对可能性的认知与主流观点截然不同。从更宏观的层面来看，大家常常困惑于：如果每人每天消耗 1 万亿个 token，那会是怎样一番景象？这正是我们希望创造出的能力。

主持人：1 万亿 token 是个什么概念？帮我们具象化一下那是多少。

Neil Movva：按 OpenAI 目前的定价，对于 5.5 或 5.6 级别的模型，1 万亿 token 至少相当于 500 万美元。用美元来衡量大概是最直观的指标——每天数百万美元。所以，如果每人每天消费掉目前价值 500 万美元的算力，那会是怎样一个世界？

这意味着我们需要将单 token 成本降低至少三到六个数量级。如果把 1 万亿 token 的成本降到 5000 美元，就已经会有客户买单了；事实上我认为，对于某些尺寸的模型，我们正在逼近“1 万亿 token 仅需数万美元”的临界点。你可以设想为了单项大型任务一次性跑掉这么多算力。

主持人：你难道一点都不担心普通人根本无法、也不会去消耗这么多智能吗？就像普通人现在的大脑算力也根本用不满一样——也许世界上对智能的需求其实并没有那么大？

Neil Movva：我绝不会相信这种论调。世界上对智能的需求永远是无限的。我认为如何搭建通往这种智能的接入通道，是我们整个产品社区所面临的挑战。

我不是做产品的，所以我不敢说自己拥有最好的产品视野；但我想赋能那些产品开发者，我希望他们永远不要因为“免费层用户用不起”或“我给不起这么多 token”而束手束脚。我经常从客户那里听到这种无奈的抱怨，我们正是要彻底打破这种桎梏。

主持人：那反过来呢？不是指你最疯狂的设想，而是有哪些行业共识你认为是错误的？

Neil Movva：我经常反思的一个核心问题是关于 NVIDIA。短期内我非常看好 NVIDIA；而且永远不要做空 NVIDIA，他们总能完成自我蜕变。但从根本上说，有一点往往让人们大吃一惊：如果你对比 Hopper、Blackwell 到 Rubin，在同等口径下比较 BF16 矩阵乘法的每瓦能效（performance per watt），它其实并没有太大的飞跃。

甚至再往前推进一步看台积电：从 5 纳米、4 纳米、3 纳米到 2 纳米，芯片的能效比并未发生天翻地覆的剧变。这一事实带来了一个推论：人们在地缘政治上惶惶不可终日——比如“万一我们出于某种原因失去了台积电的产能会发生什么”。

而我的观点相反：情况不会有人们想象的那么糟。供给端肯定会遭遇短期震荡，但西方现有的最先进制程（比如 Intel）其实并没有落后太远，最坏情况下能效大概也就差个 2 倍左右。如果你跟踪业内那些危言耸听的舆论，你会以为差距是天壤之别，但实际差距要小得多。

主持人：在 AI 领域，还有哪些虽然不在你们的业务主航道上（即不属于你亲手打造的系统组件），但最让你感兴趣的事情？

Neil Movva：我们完全处于模型层的下游，对吧？所以模型开发者决定了架构如何设计。我对 OpenAI 或 Anthropic 没有任何话语权，我只能祈祷他们选择的技术方向对我们有利；或者我必须竭尽所能预测他们的发展走向，并据此构建我的推理服务架构——包括软件和硬件的选型。

我认为最耐人寻味的一场博弈（再次回到机器思考的深远意义上）就在于：选择稀疏注意力（sparse attention）还是稠密注意力（dense attention）会带来多么重大的影响；或者采用不同的数据精度类型会带来多么深远的变革——过去我们在 BF16 下训练，现在我们可以在 FP8 甚至 FP4 等更低精度下训练，这表面上看似只是一个随意的参数决策，但它对我能使用哪些芯片、以及我应当如何构建硬件系统有着翻天覆地的影响。

主持人：展望计算的未来，如果把 100 位想要创办新型算力创企的创业者召集在一个房间里，假设他们专注于制造硬件芯片、系统或机架——在如何确立公司战略定位（而非具体的某一技术选型）上，你会给他们什么建议，以助他们在这个即将到来的时代取得成功？

Neil Movva：一切都关乎供应链瓶颈。你首先必须向我或投资者证明，你深刻理解左右现代芯片供给的 3 到 5 个核心瓶颈：台积电晶圆产能、HBM 产能、先进封装产能，可能还有第四个——电力。你的电力从何而来？你的机架如何搭建？我希望听到你对这四个瓶颈都有着极佳的应对方案，以及你打算如何绕过它们——因为归根结底，商业本质上就是套利。

你之所以造芯片，是因为你认为 NVIDIA 做出了某些他们自身尾大不掉、难以轻易调头的选择（事实也确实如此，NVIDIA 做了很多自身难以改变的抉择，他们并非完美无缺，只是极其均衡）。

因此，你的策略必须极具锋芒（spiky）。你要选准一个突破口并宣称：“我认为他们低估了 HBM 短缺的冲击，我们要全力向另一个截然不同的方向突围。”顺便说一句，我认为这很可能正是眼下最值得切入的攻击点。

主持人：为什么？

Neil Movva：想要迅速增加大量存储芯片晶圆厂绝非易事。博伊西的那些家伙（指美光 Micron）历来对周期性业务的巨额资本开支心有余悸，他们在周期上吃过太多次亏了。

主持人：但在可以预见的未来，由于这种短缺，整个世界会通过让系统中的其他环节变得更高效来绕过它。

Neil Movva：我认为更可能的结果是：他们会让其他所有东西都变得更贵。你以为 iPhone 会削减内存？iPhone 只会涨价，而我们只能默默承受。

主持人：为什么 NVIDIA 不索性一竿子插到底，自己直接卖 token 呢？你觉得 NVIDIA 在这方面很精明吗？他们不与自己的客户竞争，NVIDIA 对一切都着眼长远。他们为什么甚至不去自己做新型云厂商（neocloud）？为什么不直接在后门偷偷卖算力？

Neil Movva：NVIDIA 非常擅长谋篇布局，黄仁勋极其擅长让他的盟友成为亿万富翁。他一手把 CoreWeave 推成了估值几十亿美元的独角兽。他根本没有必要去透支这份商业信誉。

他希望培育出一个由新型云厂商和推理服务商构成的多元化生态，让所有人都竞相为 NVIDIA 创造需求；这样哪怕其中任何一家决定搞垂直整合，或者转向 AMD 等其他备选方案，他随时都有另外三家饥渴的客户立刻顶上空缺。让买家之间相互竞争，对他而言是绝妙的商业格局。

主持人：我最喜欢的收尾问题是：别人为你做过的最善意的一件事是什么？

Neil Movva：说到最善意的事，我脑海中立刻浮现出的是这些年来遇到的所有导师。能有人愿意从繁忙的日程中抽出大量时间，出于纯粹的个人热情来确保你真正弄懂某些知识、传授你技能，或者在你即将顿悟的关头轻轻推你一把，将某种价值观深植于你心中——这样的人凤毛麟角。

除了刚才提到的 NVIDIA 那些在我心中播下对性能工程热爱的同事，还有我大学时的教授们。我记得大二那年，我是一个极其急躁的学生，我跑到导师的答疑时间对他说：“我想造 AI 芯片，我很清楚自己想干什么，为什么还要浪费时间去上网络、操作系统这些基础课？”

导师看着我，为我梳理了整个技术栈的全貌，向我展示了理解拼图中每一块组件的深刻与优美。他纠正了我那种只想钻研系统单一局部的心态，对我说道：“能够贯通从门级晶圆硅片一直到构建大规模互联网服务的全栈细节，在世界上是极其罕见的。你应当立志用一生的时间去达到这种通透的境界。”

那种全面的专业素养是如此高尚而值得追寻，这句话一直深深烙印在我的心中。

主持人：Neil，非常精彩的对话，非常感谢你的宝贵时间。

Neil Movva：非常感谢你的邀请。

本文来自微信公众号“CSDN程序人生”，编译：王启隆，36氪经授权发布。