Hot Chips杀疯了，HBM、CPU、GPU都在逆天改命

今年的Hot Chips，战况依然非常激烈。

如果说有什么最直观的感受，那就是以前的Hot Chips，大家更喜欢聊技术趋势、画画大饼，但到了今年，火药味儿更明显了，各家厂商开始预告下一代产品、公布路线图、展示架构细节。可见，Agentic AI这一波竞争实在太焦灼了，大家都很紧迫，谁都不想慢一步。

不过，厂商说的东西实在太多了，CPU、GPU、HBM、互连、封装、网络……一场下来全是技术细节，确实不太好消化。今天，EEWorld就用最简单、最总结性的语言，把Hot Chips上芯片巨头们到底说了什么、准备干什么，给大家一次讲明白。

HBM怎么堆到16层、20层

内存涨价有多狠，相比大家都有所了解，这拨涨价的源头就来自HBM。Hot Chips 2026，首日的焦点也是HBM。

美光给出判断：计算能力大约每两年增长3倍，而内存带宽的增长速度不到2倍。咋办？很简单，把HBM堆更高就完事了。但问题是，堆得约高越难。所以，美光、三星电子和SK海力士这次从工程和学术视角讨论了两个问题：究竟还能把HBM推向多高？HBM真的应该继续一味“堆高”吗？

目前主流HBM主要采用8层或12层DRAM堆叠，三星和SK海力士已经将目标推向16层、20层甚至更高，美光认为16层已经存在较为清晰的技术路径，20层甚至更高也并非没有可能，但超过16层之后，挑战会迅速增加。

难题在于，如何在更高容量、更高带宽与成本、功耗、散热之间找到新的平衡。HBM接下来要突破的，可能已经不只是带宽瓶颈，而是整个系统的物理极限。3D堆叠和混合键合（Hybrid Bonding）成为绕不开的关键词，与此同时先进封装、散热技术都会成为关键。

三星：提出真正3D化的zHBM

三星是今年最激进的厂商，给HBM画了一个很大的“饼”。核心变化在B-die（Base die），也就是HBM最底部的基片。过去B-die主要负责PHY、数据通路和测试，随着AI算力不断提升，HBM带宽继续翻倍开始受到TSV数量、间距以及PHY I/O数量和速率的限制。三星因此开始用先进逻辑工艺改造B-die，HBM4已经采用D1c和4nm工艺，以降低功耗、缩小面积。

三星把这条路线分成三步：定制HBM（CHBM）→先进HBM（aHBM）→zHBM（真正3D集成）。

cHBM是现在。通过先进逻辑工艺把传统HBM PHY换成更紧凑的D2D接口，缩短信号路径，把部分内存控制器等功能从XPU搬到B-die上，为GPU腾出面积。三星还引入HPB热通路块，峰值温度可降低超过35%。这一阶段目标是回收5%至10%的XPU面积，带来10%至20%的性能提升；

aHBM是过渡。继续利用B-die闲置面积加入内存扩展控制器、RAS、测试功能，甚至部分Processing Elements。尤其面对AI模型上下文窗口不断变长、KV Cache持续膨胀，B-die可以连接外部内存进一步扩容；同时把部分计算放到存储附近，也能减少数据搬运，降低功耗和带宽压力；

zHBM则是三星想要的终局。取消传统2.5D中介层，直接把HBM垂直堆叠到GPU等XPU上，通过分布式I/O缩短信号路径，并取消SerDes进一步降低功耗。三星给出的目标非常激进：相比HBM4E，zHBM带宽提升约230%，功耗效率提升70%，单个DRAM模块最高节省约100W，I/O功耗目标约0.5pJ/bit。为了实现zHBM，三星正在推进WoW（晶圆对晶圆）和HCB（混合立方键合）等先进封装技术。

SK海力士：把Intel EMIB纳入路线中

SK海力士也公布了下一代HBM的封装路线，和三星类似，关注的重点不只是“把HBM堆得更高”，而是通过先进封装解决带宽、功耗和散热问题，并最终走向3D集成。

目前SK海力士的HBM采用的是2.5D封装：多层DRAM通过TSV堆叠在B-die上，再通过硅中介层与GPU等XPU连接。HBM4已经做到超过2TB/s带宽，最高48GB容量，同时集成超过2万个TSV。随着带宽继续提升，问题也越来越明显：功耗增加、TSV数量增加、散热变差，而且封装面积也在扩大。

SK海力士主要采用两种封装方案：TC+NCF和MR+MUF。在16-Hi HBM3E上，SK海力士已经采用升级版MR-MUF技术，通过翘曲控制、更细间距互连和窄间隙填充，将封装高度提高到775μm，同时进一步缩小芯片厚度、间隙和凸点间距。

不过，继续往更高堆叠发展，仅靠传统封装已经越来越吃力。因此，SK海力士开始研究Hybrid Bonding（混合键合）。相比MR-MUF，混合键合可以支持更细的TSV间距，目标做到低于18μm，即使继续增加堆叠层数，热阻仍可降低约35%。这意味着未来HBM有望突破16-Hi，继续向更高堆叠发展。

散热也是重点。SK海力士正在开发自己的热点解决方案I-HBM，在HBM的D2D PHY热点区域加入高导热、绝缘的散热材料，建立专门的热通路，额外降低超过30%的热阻。

在带宽方面，SK海力士计划继续增加TSV数量，同时提高I/O速率，并引入先进逻辑工艺。电源方面，则通过先进逻辑工艺和更多Power TSV改善PDN，降低高带宽HBM带来的供电压力。

除了HBM本身的封装技术，SK海力士还展示了多种2.5D封装方案，其中包括了Intel EMIB，这与CoWoS-S、CoWoS-L、CoWoS-R并列。与此同时，SK海力士也已经把目光放到了3D集成。

对于HBM是否非要堆高，SK海力士认为，答案最终取决于AI训练和推理的具体需求。尤其是在推理场景中，KV Cache等数据需要被频繁访问，对带宽和容量都有很高要求，因此客户希望获得高密度、高带宽的HBM。但这并不意味着所有数据都必须放在HBM中。未来更可能的方向，是让HBM承担最关键、带宽需求最高的工作负载，而其他任务则分配给LPDDR等容量更大、成本更低的存储器。

美光：HBM要解决散热问题

美光在Hot Chips表示，超过16层之后，挑战有两个：

首先是成本。为了实现极高带宽，HBM需要大量并行数据通路、TSV和供电结构。同样容量下，HBM消耗的硅片面积远高于DDR。比如，HBM3E每GB容量消耗的晶圆资源大约是DDR5的三倍。随着带宽继续提升、芯片尺寸扩大以及堆叠层数增加，这个比例短期内并没有明显改善的趋势。

其次是散热。HBM的Base Die集中了高速D2D接口和越来越多的逻辑功能，往往是整个HBM中功耗密度最高的区域，Base Die已经成为HBM中最容易产生热点的区域之一。堆叠高度增加不仅意味着热阻上升，还会带来更多机械可靠性和制造方面的问题。

因此，未来HBM继续向20层甚至更高发展，关键已经不只是把DRAM做得更薄，而是如何同时解决热管理、封装可靠性和制造良率等一系列问题。这也是为什么混合键合越来越受到重视。相比传统连接方式，更先进的互连技术有望降低结构限制，并改善芯片之间的连接和热传导。

美光认为，未来HBM升级必须同时推进三条路线：第一继续提高带宽和容量，第二重新设计高速I/O，第三依靠先进封装解决散热问题。

美光正在推进更高密度的Fusion Bonding。相比传统Microbump，Hybrid/Fusion Bonding可以实现更小的连接Pitch，让更多数据通过封装内部传输，同时减少DRAM层之间的介质层厚度，降低热阻。

美光还提出，未来需要重新设计面向内存优化的高速SerDes，以及继续探索超过16层的HBM堆叠。不过，美光的判断也非常谨慎。20层甚至更高的HBM不是简单多堆几层DRAM就能实现。机械应力、芯片翘曲、散热、测试和可靠性，都会成为新的问题。所以美光认为，未来HBM的竞争，本质上会越来越像一场“芯片+封装+材料”的综合工程。

HBF也开始上桌了

目前HBF还没有正式产品，不过Hot Chips 2026上，很多专家也在围绕HBF（High Bandwidth Flash，高带宽闪存）进行模拟和预测，重点讨论它如何用于AI工作负载。目前，SanDisk和SK hynix正在推动这项技术。

AI模型越来越大，对DRAM容量需求也越来越高。HBM越来越贵，AI需要另一条路。DRAM每GB成本远高于NAND Flash，因此High Bandwidth Flash（HBF，高带宽闪存）这个概念开始火了。未来，NAND可能不再只是SSD里的“存储介质”，而可能正式成为AI计算体系中的一层内存。

理解HBF最简单的方法，就是把它看成：“给NAND Flash套上一套类似HBM的架构。”

HBF采用与SSD类似的Flash存储技术，但封装方式更接近HBM。它可以像HBM一样与计算芯片封装在一起，甚至和HBM同时存在。核心思路是：用更低成本提供远高于HBM的容量，同时保持一定的带宽。

Hot Chips上，专家们认为，HBF真正的价值是用容量换成本，不过最大问题可能不是硬件，而是软件。传统DRAM可以进行细粒度随机访问，而HBF要求大块、对齐的数据访问。比如修改一个很小的数据，可能需要先把一个64KB的数据块读入DRAM，修改后再把整个数据块写回Flash。这使得HBF更像一个高速块存储设备，而不是普通内存。因此，如果要真正利用HBF，现有AI软件栈可能需要进行大量修改，包括运行时、内存管理和数据调度机制。

红蓝绿三厂的鏖战

NVIDIA、AMD、Intel三家厂商一直以来都是Hot Chips的焦点，今年三家厂商针对Agentic AI都拼尽了全力，三家厂商的竞争重点也开始变得有些许不同，不过战况仍然激烈。

NVIDIA：卖整座AI Factory

Hot Chips 2026上，NVIDIA释放出的一个重要信号，AI基础设施的竞争，已经不只是比谁的GPU更快，而是开始比谁能把整座AI数据中心跑得更高效，也就是NVIDIA很喜欢说的AI Factory，并重点展示了Vera Rubin NVL72。

NVL72大规模Scale-up架构上，第六代NVLink和NVLink Switch提供更高的GPU间通信能力，整个平台还将Vera CPU、Groq 3 LPU、BlueField-4 DPU、Spectrum-6和ConnectX-9等芯片整合进来，NVIDIA把这套系统称为“七芯片架构”。当然，针对一些产品，NVIDIA也进行了重点的讲解，我们挑一些重点总结一下。

第一，在CPU上，NVIDIA公布了下一代服务器CPU Vera更多细节。如果说Grace是英伟达进入服务器CPU市场的第一次尝试，那么Vera则明显更加激进，它提高单核IPC和响应速度，让CPU更适合Agentic AI工作负载。设计上，采用了复杂的Chiplet设计，CPU计算核心仍然采用一颗较大的计算Die，而内存和I/O功能则拆分到独立Chiplet中。

英伟达认为，过去服务器CPU追求“大量核心、较低单核性能”的设计思路，并不完全适合AI工作负载。因此，Vera选择高IPC架构。Vera采用英伟达自研Olympus CPU核心，共包含88个核心。每个核心都拥有大量硬件资源，包括大容量缓冲区、10-wide解码前端，以及更宽大的后端执行资源。没有采用传统意义上的资源共享式SMT，而是使用了静态分区的Spatial Multithreading，也就是空间多线程，采用更明确的资源划分，使性能更加稳定、可预测。

另外一个值得关注点，在于Vera没有采用传统服务器CPU常见的DDR内存，而是Vera配备8组128-bit LPDDR5X内存控制器。说白了，为了能效，彻底拼了。

第二，专用推理加速器Groq 3 LPX全面生产，专为Agentic AI强化。Groq原本就是一家专注推理芯片的厂商，其技术路线与NVIDIA传统GPU形成互补。NVIDIA使用Vera Rubin GPU负责处理大规模上下文，Groq 3 LPX则专门负责最延迟敏感的Token生成，把Prefill和Decode进一步拆开。

一套Groq 3 LPX系统最多可以部署256个LP30加速器，通过高速芯片互连组成统一的推理引擎，与GPU协同处理Agent的多步骤任务。NVIDIA希望借此打破“吞吐量越高、响应越慢”的传统矛盾，让AI Agent在处理长上下文、调用工具和连续推理时，依然保持较高的交互速度。

在Artificial Analysis的测试中，Groq 3 LPX运行Gemma 4 31B、上下文长度达到10万Token时，输出速度达到3400 Token/s。Nebius已经成为首批承诺部署Groq 3 LPX的AI云厂商，计划将其接入Nebius Token Factory，通过现有API提供推理服务。

第三，网络方面，NVIDIA也开始换个思路。Spectrum-X Multiplane把服务器网络连接拆成多个独立Plane，每个Plane维持轻量级的两层网络，从而避免为了扩展到超大规模GPU集群而增加第三层交换网络。这套方案最高可以扩展到51.2万颗GPU；如果采用8个Plane，即使其中一个发生故障，仍可保留约90%的总带宽，硬件级故障恢复速度则达到软件方案的11倍。

NVIDIA同时给出了Spectrum-X SN6000交换机、Spectrum-6 102.4Tb/s交换芯片以及ConnectX-9 SuperNIC等产品组合，单颗GPU最高可获得1.6Tb/s网络连接能力。再加上BlueField-4、DOCA以及NVLink Fusion，NVIDIA正在把网络、存储、安全、DPU以及定制CPU/XPU全部纳入自己的AI基础设施体系。

AMD：亮出MI400架构，直面CUDA垄断

第一，Hot Chips 2026上，AMD的最大看点是MI455X，它的工艺很有看点。8颗计算芯粒采用N2工艺，并通过3D混合键合技术进行集成，以提高单位功耗下的计算密度；而Fabric、缓存和I/O芯粒则采用N3P工艺，整个系统再通过CoWoS-L先进封装与12组HBM4连接。互连上MI455X支持PCIe 6.0，并提供72条UALoE互连通道，总双向互连带宽达到3.6TB/s。

显存大幅度升级。总计256个WGP，并配备192MB全局L2缓存。显存部分升级到12组HBM4，容量达432GB，带宽达23.3TB/s。相比MI355X的288GB HBM3E，显存容量提升了1.5倍，总HBM带宽则提升约2.9倍。大幅调整了芯片内部的内存层级，MI455X的每个SIMD向量寄存器容量翻倍，每个WGP的Local Data Share容量也翻倍。同时，新增的4MB L2广播仲裁器能够将部分场景下的有效带宽放大至4倍。

计算方面，MI455X最大的亮点是对低精度AI计算能力的进一步强化。MXFP4峰值算力达到40.26 PFLOPS，相比MI355X最高提升4倍；MXFP6和MXFP8的峰值算力则达到20.13 PFLOPS。可以看出，MI400的计算优化已经越来越围绕推理展开。

第二，AMD正在进一步转向机柜级竞争，重点介绍了Helios。一套Helios机柜由72颗GPU组成，整体AI算力达2.9 Exaflops，配备31TB HBM4内存，总HBM4带宽达1.7PB/s。GPU互连方面，单个机柜的Scale-up带宽达到260TB/s，Scale-out带宽达到43TB/s。

Helios的基本计算单元是Compute Tra，每个计算托盘集成4颗AMD Instinct MI455X GPU，并由一颗AMD EPYC 9006系列服务器CPU提供主机计算能力。

第三，软件上，为了解决CUDA垄断的问题，ROCm依然是AMD最需要解决的问题。ROCm是AMD的开放软件栈，使用开放的编译器、运行时和库来运行标准AI框架，使开发者能够在不改变工作流程的情况下，从云端迁移到边缘端。为了降低开发者的迁移门槛，AMD提供HIPIFY工具，能够自动将高达75%的CUDA代码转换为HIP代码。

在Hot chips上，AMD表示正在推出AI Skills，希望让Claude、Codex、Cursor、Gemini等主流AI Coding Agent能够更好地支持ROCm环境。AMD还推出了Hyperloom工具，用于进行端到端AI工作负载优化。这些都会是让开发者更好从CUDA迁移到ROCm上做出的一些优化。

Intel：至强拼了，入门U用上18A，GPU为省电而生

英特尔的在Hot chips上的目标很明确，就是All in Agentic AI，彻底拼了。

第一，公布了下一代Xeon 7 Diamond Rapids的更多架构细节，预计2027年推出。配置上豪华至极，最多256个核心、1.28GB末级缓存、1.6TB/s内存带宽，128条PCIe Gen6/CXL 3.0等高速I/O、支持16通道DDR5-8000和MRDIMM。和NVIDIA思路不一样，Intel在核心上和AMD杠上了，不断冲击高端服务器。

Diamond Rapids最大的变化是进一步把Chiplet和3D封装玩深了。CPU由多个Compute Building Block和Fabric Hub组成，每个计算模块通过3D互连连接核心Chiplet与缓存，再通过统一内存Fabric连接内存和I/O。旗舰版本最多集成16个Core Chiplet、4个计算模块和2个Fabric Hub，并采用18A-P工艺以及Foveros 3D混合键合。

更值得关注的是，英特尔开始把越来越多的数据一致性和互连能力搬到芯片内部。Diamond Rapids采用片上Snoop Filter，减少对DRAM中目录数据的依赖，从而降低延迟和一致性流量；同时通过新的低功耗设计、AMX和AVX 10.2等指令进一步提升AI和数据处理能力。

第二，Core Series 3，也就是代号Wildcat Lake的低价CPU，它定位入门级PC和边缘设备，有意思的是，虽说是入门款，但英特尔把最新的Panther Cove、Darkmont CPU核心以及Xe3 GPU架构下放了过来，同时还保留了Wi-Fi 7、Thunderbolt 4等新平台特性。更关键的是，Wildcat Lake直接从上一代Raptor Lake-U采用的Intel 7跨到了Intel 18A制程。

问题来了，最新架构和先进制程都用上了，怎么还能把价格压下来？答案就是用了精准的刀法。Wildcat Lake减少P核和NPU数量，缩小GPU，取消光追，但保留XMX；缓存也进一步缩减，显示控制器和PCIe通道同样做了精简；封装从成本较高的Foveros转向有机多芯片封装（MCP），整颗芯片只由两个Die组成，再通过UCIe负责Die-to-Die互连；为了控制UCIe带来的功耗和信号完整性问题，英特尔把互连速率限制在8 GT/s，并通过缓冲机制降低显示数据持续跨Die传输带来的功耗压力。

所以，Wildcat Lake值得关注的点在于英特尔第一次尝试用Chiplet+UCIe+有机封装，把原本偏高端的Chiplet设计压到更低的成本区间。

第三，在GPU上，Intel甩出面向数据中心Agentic AI推理的下一代GPU Crescent Island。与传统AI加速器主要追求峰值算力不同，Crescent Island把重点放在了“每瓦Token数”上，它是一款350W、采用风冷设计的PCIe数据中心GPU。

采用Xe3p架构，SoC包含32个Xe核心，配备256个XMX矩阵计算引擎；采用16级深度的脉动阵列，并支持FP4精度协同执行以及FP64计算。芯片内部加入了多层RAS机制，包括关键存储结构中的ECC和Parity、内部IP Fabric每一跳的数据错误检查、动态页面下线、芯片封装后的硬修复，以及PCIe Advanced Error Reporting。

和大多数使用HBM的GPU差异化的地方在于，英特尔为了侧重Agentic AI推理，选用了LPDDR5X。提供的标准版本配备160GB LPDDR5X显存，而芯片设计允许合作伙伴推出不同规格的ODM产品，内存容量最高可以达到480GB。

Arm也在围攻

过去几年，Arm一直都得在否认自己造芯，不过最后，还是没有逃过“真香”定律。在Hot Chips 2026上，Arm就秀出首款自研数据中心CPU AGI。这款CPU采用台积电N3P工艺，的TDP为300W。

AGI CPU也是堆料满满，单颗芯片最高可提供136个Neoverse V3 CPU核心，配备12通道DDR5-8800，内存带宽达到845GB/s，引入了MPAM资源分区技术，96条PCIe 6.0通道、CXL 3.0以及UCIe等先进互连技术。

Neoverse V3并没有一味追求极限主频，而是在单核性能和能效之间寻找平衡。每个核心配备2MB私有L2缓存，并支持128-bit SVE2 SIMD向量计算。

IBM开始拥抱Arm

在Hot Chips 2026上，还有一个看点，IBM开始拥抱Arm。IBM详细介绍了其未来对的CPU处理器，以及与之配套的AI推理加速芯片组。

IBM下一代主机处理器采用2nm工艺制造，单芯片拥有11个IBM Z核心，频率超过5.7GHz。然延续了IBM Z一贯“大缓存”的路线，每个核心拥有36MB私有L2缓存，虚拟L3高达432MB。支持SMT=2，也就是每个核心可以同时运行两个线程。除了11个Dual-ISA核心，这颗处理器还集成了大量专用加速单元。

这颗处理器最特别之处在于，每个核心都能原生执行IBM z/Architecture和Arm AArch64两套指令集。IBM并没有通过二进制翻译或动态转译来运行Arm代码，而是在硬件中完整实现了AArch64 ISA，是真正意义上的双指令集架构设计。IBM并没有重新设计一颗完整的Arm CPU核心，而是尽可能复用了现有Z核心的微架构能力，然后将AArch64 ISA“嫁接”进去。这就很有趣了，一颗原生Arm的芯片居然不是用Arm设计的。

有意思的是，IBM表示，这颗芯片实现的AArch64指令数量甚至超过了Z ISA指令数量的两倍，也因此调侃了一下RISC中的“Reduced”——这个“精简”放到今天，似乎已经没那么精简了。

IBM并不准备让用户在Z和Arm之间“二选一”。在Linux KVM和OpenShift Virtualization的支持下，IBM计划让s390x Linux、ARM64 Linux、IBM z/OS同时运行在同一套系统中。

IBM还展示了第二代企业级AI推理加速器。这款芯片面向更大规模的企业生成式AI推理任务，配置了16个工作AI核心、1个冗余AI核心、96GB HBM3e、最高接近4TB/s内存带宽、PCIe 6.0互连，其中，FP4和MXFP4数据格式可以带来最高约4倍TOPS提升。

CUDA：开始瞄准RISC-V

在GPU计算领域，CUDA的重要性几乎不用多说。过去，英伟达就一直说CUDA要向RISC-V扩展，Hot Chips 2026上，英伟达继续扩大这项战略。

不过，也不是所有的RISC-V都能支持CUDA。英伟达要求RISC-V CPU至少符合RVA23 Profile，并遵循RISC-V服务器SoC和服务器平台规范。这些规范中已经包含不少服务器级基础能力，例如RAS，即可靠性、可用性和可维护性功能，以及专用安全处理器等。还有一些门槛还包括ACPI、PCIe Cache Coherency、支持PCIe Peer-to-Peer通信。

CUDA本身是一个高度追求性能的软件栈，而且英伟达的目标本来也是让RISC-V CPU能够成为GPU计算系统的主机处理器，为英伟达GPU提供计算和数据调度支持，所以，这种要求也很合理。

未来，RISC-V也可能接入NVLink，这是一个更值得关注的方向。NVLink Fusion的要求也更高。除了满足CUDA对RISC-V平台的要求外，系统还需要支持DOCA、NCCL等软件框架，并且与英伟达保持紧密合作。

虽然CUDA进入RISC-V生态是一个重要信号，但现阶段距离“RISC-V电脑也能轻松跑CUDA”还很远。目前绝大多数RISC-V硬件，很可能都无法满足英伟达的要求。尤其是ACPI、PCIe一致性、服务器级RAS等能力，并不是现有RISC-V消费级芯片和开发板的标配。

本文来自微信公众号“电子工程世界”（ID：EEworldbbs），作者：付斌，36氪经授权发布。