当AI开始改进AI，会发生什么？｜超衍智能自动化AI系统刷新3项SOTA记录

今天，最先进模型的每一次进步，背后仍离不开人类研究者在三个关键环节作出判断：训练前决定什么值得扩展，训练中寻找更有效的算法与方案，同时不断提升支撑二者的底层系统效率。

如果这些工作能够由 AI 自主、递归地完成，进步的节奏就会发生根本变化：每一次经过验证的提升，都能转化为下一轮研究更强的起点。

基于这一思路，我们构建了超衍智能（Apex Intelligence）的自动化 AI 研究系统，希望让 AI 自主发现并验证贯穿整个训练技术栈的改进方案。

在首次系统性评测中，我们的 AI 系统在 SLDBench SimpleTES、GPUMode TriMul（H100）和 MLS-Bench Fused Causal Attention 上取得了三项新的官方 SOTA。其中，TriMul 的成绩超过了由 Stanford、NVIDIA 等机构研究者共同开发的 TTT-Discover；在 NanoChat Autoresearch 上，我们的 B200 结果也超过了 Recursive SuperIntelligence 和腾讯混元 Hyra 已公开的成绩，接近固定预算 LLM 训练的公开 SOTA。

综合来看，这套自动化递归研究范式已经在模型扩展规律预测、固定预算语言模型训练和 GPU Kernel 性能优化三个方向达到顶尖人类工程团队和当前先进自动化系统的水平，并在部分任务上实现超越。

在每项评测中，AI 系统都会自主完成一轮完整研究：识别值得改进的问题，提出并测试方案，验证结果，再从实验证据中学习。经过验证的前沿结果又会成为后续研究更强的起点，让改进从单轮优化走向递归循环。

 

 

01 

SLDBench SimpleTES

 

大规模训练真正启动之前，研究者必须先回答一个无法靠直接实验穷尽的问题：当规模扩展到无法直接试验的区间时，模型表现会怎样变化？Scaling Law正是为此服务，它会直接影响模型规模、数据组成、学习率、批大小和计算预算等关键决策。如果一条规律只能拟合小规模实验，却无法准确外推到更大的训练规模，整个训练预算都可能被引向错误的方向。

SLDBench 把这种不确定性转化为可量化的自动发现任务。它基于超过 5,000 组已发表的 LLM 训练实验构建，要求 AI 系统同时给出符号化规律和拟合方法，并在未参与拟合的规模区间中保持准确。按照 SimpleTES 采用的四任务评测，我们测试了 parallel scaling、domain-mixture scaling、learning-rate/batch-size co-scaling 和 U-shaped compute scaling。

使用同一固定版本的公开评测器，我们的 AI 系统在四项任务上均超过此前的公开参考结果，四任务平均分由 0.8613 提升至 0.8846，增幅为 2.71%。其中，U-shaped scaling 的提升最大，得分从 0.4975 升至 0.5761，提升 15.80%；learning-rate/batch-size co-scaling 则从 0.9506 升至 0.9650，提升 1.51%，parallel scaling 和 domain-mixture scaling 也进一步提高。由于评分依据是留出规模区间上的表现，这项评测的重点在于规律能否在已知实验之外继续成立，而不只是拟合已经观测到的数据。

图 1：我们的 AI 研究系统在所选的四项 SLDBench 任务上均超过此前公开参考结果，将平均留出集得分从 0.8613 提升至 0.8846。其中 U-shaped scaling 提升最为显著。分数越高越好。

最具代表性的方法创新出现在 U-shaped compute scaling 上。我们的 AI 系统没有把整条曲线视为一个单一趋势，而是将其拆分为两部分：一部分是决定大规模表现的长期扩展趋势，另一部分是只在有限计算区间内出现、随后逐渐衰减的阶段性效应。这样一来，实验数据中暂时出现的趋势反转，就不会被错误地外推为会无限持续的长期变化。

这一区分的价值主要体现在外推上。评测器会隐藏曲线的最后一个阶段，足够灵活的方程虽然可以拟合已观测到的弯折，却可能在继续外推时给出完全相反的方向。通过分别建模阶段性效应的出现、持续与衰减过程，AI 系统能够更准确地预测转折点之后的走势。

这种分解方式在提升留出区间预测精度的同时，也保留了良好的可解释性和可检验性，因此具有明确的技术意义。它还提供了一个可能适用于其他 Scaling Law 问题的研究假设：观测到的趋势反转未必意味着长期扩展规律已经改变，也可能只是长期趋势之上叠加了一个暂时性的阶段效应。

02 

NanoChat Autoresearch

 

固定计算预算会迫使每个新想法都接受最直接的检验，即当训练时间和硬件资源完全相同时，性能提升只能来自对这份预算更有效的利用。因此，NanoChat Autoresearch 提供了一个清晰的测试场景，用来判断 AI 系统能否通过快速实验和自主迭代，真正改进模型训练实现。

NanoChat Autoresearch 由 Andrej Karpathy 于 2026 年 3 月发布。它为智能体（Agent）提供一张 GPU，并允许自由修改模型架构、优化器、超参数和训练代码。每次实验都只有五分钟，最终按照验证集 bits per byte（val_bpb）评分，数值越低越好。此后，这套机制又扩展为 autoresearch@home，人类参与者与 AI 智能体可以共享实验，并持续挑战当前最强的公开方案。

在固定 300 秒、单张 B200 GPU 的设定下，我们的 AI 系统取得 0.892426 val_bpb，接近当前公开前沿水平。这一成绩超过了 Recursive SuperIntelligence 在 2026 年 6 月公布的最佳单次结果 0.903891 及 10 个随机种子的平均成绩 0.9108745，也超过了腾讯混元在 2026 年 7 月发布的 Hyra 成绩 0.901543。截至 2026 年 9 月，它已接近公开排行榜领先者 AutoTrust AI 的 ScienceGuru（0.889522）。

图 2：固定 300 秒、单张 B200 训练预算下的 Validation BPB 对比。数值越低越好。

这次提升的关键，是让 n-gram 的稀疏性真正贯穿训练计算的全过程。ScienceGuru 已经证明，大规模 n-gram memory 能够改善训练效果，但每个 batch 实际只会访问这些大型表中的少量行。我们的 AI 系统进一步发现，训练链路中的部分梯度计算仍按稠密方式执行，使模型虽然在访问上是稀疏的，系统层面却继续承担大规模稠密计算的成本。

针对这一问题，AI 系统设计了更紧凑的反向传播过程，只更新当前 batch 真正访问到的行。改动后，训练峰值显存从约 177.7 GB 降至 140.6 GB，下降 20.9%，同时仍保持接近 SOTA 的模型质量。在相同的 300 秒预算内，AI 系统处理的 token 数量比 ScienceGuru 实现少约 4.5%，仍取得了 0.892426 val_bpb，说明接近 SOTA 的训练质量并不依赖更高的 token 吞吐量。

AI 系统随后把这一原则扩展到完整的数据访问链路（memory-access path）：将两次 n-gram 表查询、拼接、活跃行识别和行注册融合进一个 Triton Kernel，并让反向传播直接复用生成的 row-to-slot mapping，从而消除重复索引，使稀疏性从数据查询一直保留到梯度更新。它的系统意义非常明确：稀疏模型不必继续为稠密实现付出成本。这一思路也有望迁移到其他依赖大型 embedding table 或 memory table、且每个 batch 只访问少量行的任务中。

03 

GPUMode TriMul H100

 

当一个 GPU Kernel 已经被高度优化，剩余的延迟往往藏在最不显眼的位置。随着某一环节持续提速，瓶颈还会在 Kernel 融合、张量布局和显存访问等环节之间迁移。因此，想要继续提升性能，既要生成更好的 Kernel，也要重新判断真正的瓶颈在哪里。

GPUMode TriMul 任务针对 AlphaFold 类蛋白质结构模型中的 outgoing Triangle Multiplicative Update，要求参与者在 NVIDIA H100 上实现数值正确的版本，并尽可能降低七种固定输入形状下的几何平均延迟。这项任务已经吸引了不少顶尖人类工程师和自动化系统参与，其中包括 TTT-Discover，由 Stanford、NVIDIA、Astera Institute、UC San Diego 和 Together AI 等机构的研究者于 2026 年 1 月发表。

在七种 H100 工作负载上，我们的 AI 系统将几何平均延迟降至 1,036.1 μs。在同机配对评测中，这一成绩比最强的人类设计对照方案 stashuk-olek（1,064.9 μs）低 2.71%。从各自公开报告的数值看，它也低于 shiyegao CUDA（1,074 μs）、Zeyu Shen Triton（1,140 μs）和 TTT-Discover（1,161 μs），并且与 K-Search 单独报告的 1,030 μs 仅相差约 0.59%。

图 3：七种 GPUMode TriMul H100 输入形状下的几何平均延迟。我们的 AI 系统达到 1,036.1 μs，数值越低越好。注：其他公开数值来自各自报告或评测记录，并非与我们的结果在同一台机器上进行的配对测量。我们的 1,036.1 μs 使用官方评测器在本地测得。

现有高性能 TriMul 实现已经广泛采用 Kernel 融合、专门化矩阵乘法、按输入形状专门化以及感知布局的数据搬运等方法。我们的 AI 系统最初也沿着这条路径继续强化上游计算端（producer）的融合，但随着寄存器压力增大，收益开始递减，而且在不同输入形状上并不稳定。于是，系统把搜索重点从“如何让上游计算更快”转向“它的输出如何被下游使用”。

在其中几种工作负载上，AI 系统最终把 BMM → LayerNorm 的边界识别为剩余延迟的主要来源。新的实现沿连续物理维度读取 BMM 输出，并在进入 LayerNorm 之前直接在寄存器中完成所需的转置。

这次优化真正值得关注的地方，不只在于 Kernel 最终变得更快，还在于系统主动改变了搜索假设：当上游计算端的优化接近饱和后，它能够沿数据流重新定位瓶颈，并据此调整后续目标。不同输入形状最终对应不同方案，也反映出 GPU 优化的一项基本规律：一个环节提速后，瓶颈可能随之转移，下一步优化也必须跟着移动。这种能力的价值远不止调优某一个固定 Kernel。

04 

MLS-Bench—Fused Causal Attention Kernel（H100）

 

Attention 是 Transformer 训练和推理中最主要的计算与显存开销之一，执行效率会直接影响模型的速度和成本。与此同时，今天的 fused-attention Kernel 已经经历了高强度优化，显而易见的空间所剩无几。要继续突破，除了改进调度（scheduling）和数据搬运（memory movement），还需要重新审视数值算法中那些长期被默认接受的假设。

MLS-Bench Fused Causal Attention 任务要求 AI 系统在 NVIDIA H100 上使用 OpenAI Triton 实现 fused self-attention forward pass，在三个 causal-attention 配置中最大化吞吐量，同时确保最大绝对误差低于 1e-2。该评测集收录了 Claude Opus 4.6、GPT-5.4 和 Gemini 3.1 Pro 等前沿模型的结果，因而提供了来自 Anthropic、OpenAI 和 Google DeepMind 的强基线。

在三种 fused-attention 配置下，我们的 AI 系统分别达到 430.7、468.4 和 451.7 TFLOP/s，对应头维度64、128 和 256。三项成绩均刷新此前最佳结果，提升幅度分别为 27.18%、15.63% 和 17.11%。

图 4：三种 MLS-Bench Fused Causal Attention 配置下的吞吐量对比。

性能提升的核心来自对 online softmax 路径的简化。标准 FlashAttention 类实现通常会维护滚动最大值（running maximum），并反复缩放累计的 softmax 统计量，以保证数值稳定。我们的自动化研究系统发现，在 MLS-Bench 的这组任务中，经过 scaling 的 attention logits 始终处于足够窄的数值范围，因此可以在满足评测误差要求的前提下省去反复重新缩放。

基于这一发现，AI 系统构造出 rescale-free softmax：直接累计指数项和加权 Value，只在最后进行一次归一化。仅这一项改动，就使头维度 64、128 和 256 的吞吐量分别提升 21.0%、8.5% 和 19.3%。在此基础上，我们的 AI 系统还结合 LPT scheduling、TMA，并针对不同输入形状优化调度和数据搬运，进一步提高了性能。

Rescale-free 路径之所以最值得关注，是因为它改变的并非普通工程参数，而是数值算法内部一个长期默认的前提：为更广泛运行区间设计的稳定性机制，在当前任务的实际数值范围内并不必要。这说明，即使已经接近系统性能前沿，新的突破仍可能来自重新审视那些看似不可改变的假设。

在这个案例中，Apex 的自动化研究系统把搜索范围从现有 Kernel 的参数与调度，进一步扩展到实现本身的结构。它识别出当前运行区间内可以安全省略的数值保护机制，并把这一判断转化为更快的执行路径。我们真正关注的正是这种研究能力：既能优化参数和调度，也能重新审视成熟方案赖以成立的结构假设。

 

结语

不止于Benchmark

 

Benchmark 能记录一次结果，而递归 AI 系统更重要的价值，是把这次结果带入下一轮进步。在四项评测中，我们的 AI 研究系统已经产出了一系列经过验证、达到前沿水平的改进；每项结果都不只是终点，也可以成为后续研究的起点。

整个过程沿着 Discover → Verify → Learn → Improve 四个阶段展开：先发现高价值的未知问题，再通过实验验证候选方案，把实验证据转化为可复用的认识，并据此改进下一轮研究。

接下来更重要的问题是迁移（transfer）：如何把一个具体任务中的突破沉淀为可复用的知识，并让这些知识持续增强之后的研究循环。

研究，孕育下一条 S 曲线。每一次重大的产业变革，都始于研究打开一条新的技术路径：可能是一项科学洞见、一种原创方法，也可能是一套新的工程系统。随后，执行力和规模化把这条路径转化为真实产业；当它逐渐进入平台期，下一次跃迁就取决于能否打开新的 S 曲线。

我们相信，下一轮技术革命的重要特征之一，将是 AI 开始成为一种原生的研究引擎。

AI 正从辅助工具走向共同研究者。人的判断力和想象力帮助我们决定什么值得探索，AI 则进一步扩大可以探索的问题空间。二者共同工作，可以发现新的方向、提出新的问题，再由这些问题催生更强的模型，形成机器发现能力与人类想象力彼此增强的循环。

Astra 展示了 AI 已经走到哪一步。那么，下一步又将由什么推动？答案或许在于：让 AI 从回答已有问题，进一步走向发现下一个值得探索的问题。