自进化时代，强化学习可能得有一套新算法了
在本栏目之前的文章《Jeff Dean们，赶在贝叶斯AI到来之前跳船》我们谈自进化时，提到的其中重要的一个坎儿，就是模型的搜索空间很狭窄，解了半天都是组合和桥接。
而自进化研究已经开始防范这种解法收敛，只是大多数工作把手术做在模型外面。
比如，Sakana AI与UBC团队的Darwin Gödel Machine维护的是一个不断扩张的Agent档案。它从不同祖先产生变体，让多条谱系并行发展。实验中，系统在SWE-bench上的成绩从20.0%提高到50.0%，Polyglot从14.2%提高到30.7%。作者反复强调stepping stones的作用。某次修改可能暂时落后，却在后面成为突破所需的垫脚石。
Varun Gumma等人提出[IDEAgent把科研构思直接定义成Quality-Diversity Search，要在进行搜索后选的差异时，同时追求质量和差异。
自进化系统的搜索其实要经过两道选择。第一道发生在模型内部，经过训练的模型决定哪些候选值得被生成。第二道才发生在外部Loop里，它决定被模型投出来的哪些候选能够活到下一轮。
上面的这些探索都是放在第二道，但让模型本身多点探索多样性这件事儿，其实之前做的不多。
外循环越开放，这个矛盾反而越刺眼。后面精心维护着一棵演化树，前面的RL却只肯提供同一粒种子。
而长程任务会让入口的缺陷成倍放大。做一道数学题，某条备选路线没有被采到，损失的只是一次解题机会。做一个两百轮的程序优化任务，第十轮没有出现的数据结构，会让第五十轮本可以基于它产生的并行化方案也一起消失。
后面每一轮都可以很聪明，可它们只能在一棵早已被修剪过的树上继续攀爬。
所以第一步怎么解决呢？
目前解决的不太好。
01、强化学习的两难困境
我们先来拆解一下RL面对的问题。
2025年初，研究者谈论强化学习时，使用的还是一套相当乐观的语言，他们都觉得RL是可以让模型学到新东西的。
1月22日，DeepSeek发布R1的技术报告。其中最引人注目的是R1-Zero模型，它用的GRPO算法只根据最终答案是否正确获得奖励，却在训练过程中逐渐出现了延长思考、回头检查、尝试替代路线等行为。
论文将这些变化描述为通过强化学习自然涌现出来的推理能力。于是，大家都觉得，是 RL 让模型学会了此前不会的推理方式。
几天后包括谷歌的一个研究小组的论文《SFT Memorizes, RL Generalizes》进一步强化了这种印象。研究者让SFT模型和RL模型从同一个基础模型出发，使用相同的训练任务，然后测试它们能否适应没有见过的规则变化。
结果SFT更容易贴着示范答案学习，RL则更能适应规则和视觉条件的变化。
这构成了2025年初那套「RL通过学习到了推理，带来了泛化」的主要证据。
RL不光让模型能解更难的题，也压没了低概率解
但其实传统学界一直都有一种RL不太可能带来泛化的认知，过去在CV领域，RL方法就是因为泛化不好所以饱受质疑，而表现好的AlphaGo也就只会下棋。
所以自然会有反思到来。2025年4月北大的那篇论文《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》就是第一枪。
过去评估推理模型，最常见的指标是pass@1，只让模型回答一次，看它能不能答对。RL模型在这个指标上大幅超过基础模型，于是人们自然地认为，RL模型拥有了更强的推理能力。
这篇论文却把采样次数不断提高，观察pass@k的变化。结果采样次数较少时，RL模型明显更强。采样次数足够多以后，基础模型可以追上，部分情况下甚至超过RL模型。
研究者进一步比较生成轨迹，发现RL模型常用的正确推理路径，往往也能从基础模型中采样出来，只是概率低得多。
这给出了RL有效的另一种解释。
假设基础模型面对一道题时，可能产生几十种思路。正确思路只占其中很小一部分，所以第一次回答经常出错。RL训练并不一定需要发明新思路。它只要不断提高正确路径的概率、压低错误路径的概率，就能让pass@1出现巨大提升。
从产品角度看，这当然是能力进步。原来需要采样几百次才能遇到的答案，现在一次就能出现，模型变得更可靠，也更便宜。
但如果研究的问题是「模型是否获得了基础模型原来不具备的能力」，结论就没有那么直接。它更像是在提升已有能力的调用效率。
这篇论文由此提出了一套影响很大的解释：RLVR主要做的可能是distribution reshaping，也就是重新安排基础模型已有输出的概率。它把高奖励路径推到分布中心，同时把其他路径挤到边缘。模型不是「简单地知道得更多了」，而是「更相信其中一部分了」。
「RL主要在锐化分布」的说法由此开始。
到25年5月28日，中国团队的研究《The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models》研究了RL训练过程中模型分布怎样变化。
作者观察到，大量RL训练都会在早期出现「策略熵」的快速下降。模型的输出越来越确定，探索能力随之减弱，而性能也在这个阶段逐渐进入平台期。
这里的「熵」可以理解成模型在每一步还保留多少选择。熵高，说明多个token都有机会被选中，而熵低，则说明模型越来越确信少数几个token。
作者的分析显示，策略梯度更新会形成一种自我强化，已经拥有较高概率、又获得正向优势的token，更容易得到进一步增强。它们的概率越高，后续被采样和强化的机会也越多。低概率选择则逐渐失去进入训练样本的机会。
这使锐化不再只是pass@k曲线上的猜测，而有了训练动力学上的解释。RL从当前策略中采样，再用这些样本更新当前策略。某条路线一旦领先，它就更容易出现在下一轮，也更容易继续领先。
训练看似仍在自由探索，实际使用的候选集可能越来越窄。
在这期间，其实很多论文在测试中发现经过RL的模型可能产生出更多样的答案，因此对这个锐化的结论产生了怀疑。
但2025年7月，斯坦福的论文《The Invisible Leash: Why RLVR May or May Not Escape Its Origin》把这种现象进行了归因。
模型在每一步有很多token可选，不代表它最终会产生很多不同方案。几条语言表达看起来差异很大的推理轨迹，最后可能仍然落到同一种解法、同一个答案。反过来，一条罕见路线可能只由早期一个概率很低的token触发，却能进入完全不同的推理区域。
这篇论文发现，RLVR训练后，token级熵有时甚至会上升，但答案级熵仍然下降。也就是说模型的产出局部看起来更不确定，最终却收敛到更少的答案类型。
作者进一步比较基础模型与RL模型在大规模采样下的经验支持集，发现RL新增的答案通常少于它丢失的答案，pass@1提高了，但基础模型原本能够偶尔触达的一部分结果不再出现。
而长程任务会进一步放大这种损失。一个方案往往需要连续通过多个低概率分叉才能形成。只要第一步的替代方向被压低，它后面的所有搜索分支都会一起消失。
单个token上的轻微锐化，沿着几十步决策传递下去，可能变成整个解法族的退出。
到了10月，混元团队发布的论文《Low-probability Tokens Sustain Exploration in Reinforcement Learning with Verifiable Reward》就证明了这一点。
研究员们发现，预训练模型中存在一些概率很低、却能引出有效新推理的token。他们把这些token称作推理火花。
普通RLVR会对它们施加过强惩罚，使其在训练中逐渐消失。作者通过专门保护这些低概率但有价值的token，让RL训练持续更久，也取得了更高的最终准确率。
那么锐化的RL是怎么展现出来一种泛化的可能的呢？
答案是，锐化和泛化并不一定发生在同一个层级。
去年5月底英伟达团队发布的《ProRL》可能是对模型就是在锐化这件事，给出的目前最有力的反击之一。作者没有满足于常规的短程RL，而是把训练延长到两千多步，同时加入KL约束、参考策略重置和更多样的训练任务。
结果RL并不是在所有领域都继续锐化，数学任务上仍然出现了pass@1提高、pass@128下降，但在代码和部分逻辑任务上，pass@1与高k指标能够同时增长。
最醒目的例子是BoxNet。这是一类需要在网格中移动智能体、搬运箱子并避免动作冲突的规划任务。
在作者的实验设置下，基础模型对100道测试题采样了256次，缺没有生成一个被验证器接受的解，ProRL模型的单次成功率虽然只有7.7%左右，但随着采样量增加，最终在pass@256上覆盖了全部测试题。
这说明，RL至少在长程任务中，可以把一批原本低于有限采样分辨率的任务推入可解范围。
从外部看，这就是能力边界扩张和「泛化」，基础模型在数万次生成中没有表现出来的能力，RL模型能够稳定表现出来。
2026年2月，北大等团队的研究《《New Skills or Sharper Primitives?》对此进行了机制解释。研究者构造了四套人工代数系统，训练阶段只让模型学习一步操作，测试阶段却要求模型连续执行两到五步。
RL从未见过这些组合题，但训练后，一部分基础模型采样128次都无法解决的题，变成了可以稳定解决的问题。
这是因为假设一道题需要连续完成五个步骤，每一步的正确率都是0.3，整条推理链成功的概率会低到采样128次也经常一次都碰不到。
RL如果把每一步的正确率提高到0.7，整题成功率就会大幅提升。
在这里模型并没有学到第六种操作，也没有见过测试中的完整解法，但整道题已经从几乎不可能出现变成可以稳定调用。
实验中，原子步骤联合正确率与最终组合任务成功率的相关系数达到0.69到0.96，说明复杂能力的出现，很大程度上可以由底层步骤变得可靠来解释。
这就化解了「锐化为什么还能带来泛化」的矛盾。
RL可以在原子能力上做锐化，压低错误操作，提高正确操作的概率。而这些局部变化沿着长推理链相乘，却会在任务层面打开此前无法到达的区域。
它没有扩大基本知识和推理原语的集合，却扩大了这些原语能够稳定组合出的任务集合。因此，这仍然是一种真实的泛化。
只不过它不是从训练经验之外获得新知识，而是组合性泛化。模型学到的是一套更可靠、可以反复调用的底层操作，随后把它们用于没有见过的规则组合、更长的推理链和新的问题实例。
这也说明RL依然不可缺少。对于复杂问题，模型只隐约会每一个局部步骤是不够的，只要其中几个环节不稳定，整条推理链就会随着任务长度增长迅速坍塌。RL的作用，是把这些潜在能力练到足以连续执行，让原本停留在低概率尾部的组合变成可用能力。
但 RL提高一批原子能力的同时，也可能牺牲另一些技能和低频路径的问题，在自进化时代依然严峻。
它似乎陷入了一种既要又要Dilimma（两难处境），我们既需要它一边打开更长的正确推理链，又希望它不要删除通向其他解法的分叉。
这种处境能有解吗？
还好26年的研究很多时候基本上都在围绕着这一点进行，而它们很可能会彻底改变RL的范式。
02、既要又要的RL方法
如果RL不再提高正确动作的概率，它也就失去了最重要的价值。
前面《New Skills or Sharper Primitives?》已经说明，模型能够解决更复杂的问题，往往不是因为突然学会了一套全新的算法，而是因为原来不太稳定的底层操作被练准了。
五个步骤每一步都只有七成把握，连起来很容易出错，每一步都提高到九成以后，更长的推理链才真正可用。
所以问题不是该不该锐化，而是该锐化什么。最理想的状态，是每一种方法内部都越来越可靠，不同方法之间却还能继续共存。
但传统RL很难做到这一点，因为它关心的是平均得分。
假设模型解一道题时，60%的概率使用方法A，40%的概率使用方法B。A平均得到0.9分，B平均得到0.8分，那么模型反复回答这道题，平均得分是0.86。
RL很容易发现，只要多用一点A、少用一点B，平均分就会上升。A提高到70%，B降到30%，平均分就变成0.87。于是训练继续增加A的概率。
如果只看眼前这道题，这个选择完全合理。A现在得分更高，当然应该多用。
但RL不知道B以后还有什么用。B可能更适合另一类题，也可能是某种新解法的起点。
只要这些未来价值没有写进当前奖励，RL看到的就只有一件事，减少B，平均分马上会提高。
目标很死板是问题之一。
另一个问题是策略梯度还要加强这种死板。
「策略」就是模型对不同选择分配的概率。「梯度」就是参数应该往哪个方向调整，才能让高奖励选择更容易出现。
把两者连起来，就是模型会根据一批回答的得分，调整下一次选择这些回答的概率的方法。
在PPO、GRPO这类方法中，模型先按照当前策略生成一批回答，验证器再判断哪些答案正确。高于这一批平均水平的轨迹获得正向优势，算法随后提高组成这些轨迹的token再次出现的概率，低于平均水平的轨迹则被压低。
RL要进行多轮，而每轮RL都是从上一轮的模型中采样，用上一版本给出的答案更新模型。
如果一个选项A因为能提高概率，它就会被加强，也因此会更频繁地进入训练样本。另一个次优选项 B 本来出现得少，进入下一轮训练样本的机会也小。那几轮以后，A和B之间原本不大的差距就会因为在训练样本里出现的次数越滚越大。
一个锐化的内循环就此定型。
长推理会让这个问题更严重。一种新解法往往需要连续走过多个不常见的分叉。只要开头那一步没有被模型选中，后面整条路线都不会出现。模型看不到后面的结果，自然也不可能把功劳还给最初那个选择。
所以，期望回报（平均值的目标）与策略梯度分别提供了锐化的两股力量。
一方面，平均奖励要求模型多用当前得分最高的方法。另一方面，策略梯度又让已经常见的方法更容易得到下一轮训练。一个负责把概率推向赢家，一个让赢家越来越容易继续赢。
而调节梯度的一种方法，就是去调节目标。
2026年的这些新方法，基本上是在通过调整这两者，来降低锐化。
管住梯度，给RL锐化加刹车
另一个方向则是梯度。既然梯度会强化，那最直接的方法就是给它加一个刹车片，让它别把多样性直接碾死。
2026年1月新加坡国立大学的研究《Expected Return Causes Outcome-Level Mode Collapse in Reinforcement Learning and How to Fix It with Inverse Probability Scaling》就是走的这条路。
既然梯度会强化出现的多的结果，那就别让它强化，干脆让它弱化。
论文提出了IPS-GRPO，规定当一个结果出现得越频繁，训练时分配给它的权重就越低。这样，高频答案不会仅仅因为已经占据概率优势，就继续获得与出现次数成比例的强化。
而低频但高奖励的结果，也不会因为很少进入采样而永远失去翻身机会。
2月，威斯康星大学的研究《LAD: Learning Advantage Distribution for Reasoning》也是沿着这个路径走的。不过不是给频繁结果降权，而是保持初始状态的概率优势。
在一开始概率优势越高的答案，应该比旧模型中的概率提高得更多、优势一般的答案可以小幅提高、优势为负的答案则应该下降。
假如A和B的优势相同，它们的概率就应该按照相同倍数增长。A原来占10%，B原来占5%，更新后可以分别变成20%和10%，而不是让A因为采样次数更多，逐渐把B吞掉。如果A的优势高于B，A当然可以获得更大增幅，但这个增幅有一个与优势相称的目标，不需要一直增长到接近100%。
但只要一个答案仍然有价值，它在这张表里就会得到相应份额，而不是和最高分答案进行没有终点的竞争。
在他们看来，普通RL追求的是把平均优势尽可能做高，而它们的方法则是试图让模型学习完整的优势分布。高价值路径仍然会得到加强，但它们的概率不会毫无节制地增长，其他有效路径因此有机会继续留在分布中。
这一组解法的逻辑就是，如果任务本来就允许多个好答案，那么后训练的目标就不该是把概率全部推向其中一个。
它希望形成的结果不是一个答案占据几乎全部概率，而是高概率答案占得多一些，其他有效答案也还能被采到。
在梯度上打补丁，其实也会部分调整目标。但总不如直接改目标来得直接。
改目标，让RL不再单线优化
既然原来的优化目标太强调平均，太单一，那我们就改改优化的目标。
想要多样性，那我们就奖励多样性。但问题是奖励什么样的多样性？
模型在token层面表现得很活跃，不代表它真的尝试了不同思路。它可以改变措辞、调整推导顺序，或者多写几个中间步骤，看起来生成了十条不同的轨迹，实际却都在重复同一种算法。
例如，面对一个一元二次方程，一条轨迹完整写出求根公式，另一条跳过几个化简步骤，第三条更换了变量名称。它们在token和语义向量上都可能存在差异，但解题思路没有变化。
真正不同的路线，是另一条轨迹放弃求根公式，转而使用因式分解。这样才算是增加了搜索入口。
因此，就要从这方面去奖励。
2026年1月的MIT的论文《Rewarding the Rare》因此提出，不应该继续用token熵间接猜测模型有没有探索，而应该直接判断几条轨迹采用的是否是同一种解法。
它保留了GRPO的大体框架。面对一道训练题，模型仍然一次生成多条轨迹，验证器也仍然负责判断答案是否正确。新增的一步，是让另一个更大的语言模型阅读这一组完整推理，把它们按照高层解题策略分类。
如果八条轨迹中有六条都在使用求根公式，一条使用因式分解，另一条给出了错误答案，那么前六条会被归入同一个大类，因式分解单独构成一个小类。
分类器只看解题计划，不把变量名称、篇幅和局部化简方式的变化当成新策略。
接下来，算法根据每个类别的大小重新调整训练权重。一个正确解法出现得越频繁，单条轨迹得到的权重就越低，一个正确解法越少见，它得到的权重就越高。
这样，错误答案不会因为足够罕见就得到鼓励，正确性仍然是进入竞争的门槛。既要又要还是可以得到保障。
这改变了普通RL的强化逻辑。Rewarding the Rare方法没有取消对求根公式的奖励，只是不再允许它因为已经常见，就按出现次数无限积累优势。因式分解那条路线虽然只出现一次，却代表一个没有被其他轨迹覆盖的方向，因此会获得更大的相对权重。
这相当于第一次把「正确解法的稀缺性」写进了RL的更新规则，作为一种重要的奖励维度。
模型仍然要提高答对的概率，但同一种正确答案重复十次，不再等于发现了十个有价值的结果。
作者在Qwen2.5-7B、Qwen3-8B和OLMo-3-7B上进行了实验，测试范围包括数学、物理和医学推理。他们不只测pass@1，还把采样量提高到256次，观察继续增加rollout能否带来新的正确结果。经过这种训练后，模型的pass@1没有明显受损，高采样量下的pass@k曲线却能继续增长。
更能说明问题的是作者对20道AIME难题进行的人工解法标注。他们先从竞赛题解和教材中整理出每道题的三到五种标准解法，再检查模型采样32次能够覆盖其中多少种。
20道题中，训练后的模型与基础模型在16道题上覆盖相同。在剩下4道较难的题上，训练模型覆盖了更多方法。比如其中一道几何题存在五种人工整理出的解法。基础模型采样32次只覆盖两种，经过训练的模型覆盖了全部五种。另一道组合题中，基础模型只找到四种参考方法中的一种，而训练模型找到了三种。
这些结果至少说明，pass@k的增长不只是同一种答案在措辞上的变化。模型确实保留并强化了更多能够被人识别的解题策略。
但Rewarding the Rare仍然是在给单条轨迹分配权重。它把「所在类别是否稀有」作为每条轨迹的附加信息，却没有直接评价整组答案共同覆盖了多大的空间。
这个区别会在更复杂的情况下暴露出来。比如一组答案里有三种策略，A出现五次，B出现两次，C出现一次。按照类别大小，C最稀有。但C究竟补充了一个全新的方向，还是只是B的一个模糊变体，只靠模型去判断其实风险很大。而且类别划分本身也很生硬，两条路线要么被判为同类，要么被判为不同类，中间没有多少余地。
为了解决这个问题，5月，MIT和Sakana AI的研究者再次联手，发表了论文《Vector Policy Optimization》。
奖励多样性，那就干脆直接放弃单个候选生成的模式。
它试图更根本改变RL优化的目标，让它不再只看平均得分，从一堆选项中拔一个将军出来。而是给它一组环境，看哪组答案能全部适应。
把通用的最佳解答，改成一个会随机应变的多面手。
以代码生成为例。一道题有十个测试用例，程序A通过了其中八个，程序B也通过了八个。传统RL通常把两者都记成0.8分。
但它们可能擅长的东西根本不一样。程序A在普通输入上表现很好，遇到极端数据就会出错。程序B速度较慢，却能处理A解决不了的边界条件。
如果训练只看平均分，系统很可能留下其中一个。等到外部搜索器需要处理那个罕见条件时，另一个方案已经不在模型的常用分布里了。
VPO会保留每个测试用例的结果。程序得到的不再只是0.8，而是一串更具体的记录：第一项通过，第二项失败，第三项通过。
这样，系统就能看出两个同为0.8分的程序究竟有什么区别。
训练时，VPO让模型一次给出多个候选，再反复改变各项测试的权重。有时更重视常规输入，有时更重视边界条件。模型要在这些不同要求下都取得好成绩，就不能把候选只收敛到一个可能性上。
如果每次它都只加强程序A的概率，那么它能解决的仍然只是A擅长的那部分问题。只有把A、B以及其他有不同长处的方案都交出来，这组答案的总成绩才会提高。
因此，VPO奖励的单位已经从「一个最高分的答案」变成了「一组互相补位的答案」。
论文还在多跳问答、迷宫导航和工具调用上采用了同样的设计。多跳问答可以分别检查每一步是否正确。而工具调用则可以分别检查工具名称、参数格式和参数内容。
模型不必把所有能力压进一种潜在解决方案里，而可以让不同候选解决不同的难点。
迷宫实验的数据很能说明这种解法的优势。普通GRPO的best@3是0.432。将候选数量从3个增加到5个、10个和30个以后，成绩仍然是0.432。这说明后面增加的27次生成，大多没有带来新的有效路线。
而VPO的best@3是0.512，增加到30个候选后达到0.593。这说明多给模型采样预算，系统还保有着找到新路线的方法。
这种差别放进外部搜索Loop以后更明显。研究者把VPO和GRPO训练出的代码模型分别接入OpenEvolve，在32道两边都无法通过普通采样解决的题目上继续迭代。
经过200轮改写和测试，GRPO较早进入平台期，VPO仍能产生新的候选，并解出一部分原本两边都解不开的问题。
这正好补上了自进化系统的第一道缺口。
VPO所做的，是让模型在训练阶段就学会提供不同种子。每颗种子本身要有一定质量，同时还要和其他种子有所区别。后面的搜索器掌握了更多测试结果，也有更大的计算预算，可以到那时再决定哪一条路线更值得继续。
RL没有放弃提高能力，只是不再急着替未来做完全部选择。
既要又要，其实在这里已经达成了。它们既保留了正确的要求，同时也增强了对多样性的存续和奖励。
如果问题出在策略梯度本身
前面的几种方法都接受了一个共同前提，策略梯度仍然是训练推理模型的基本框架，问题只是它分配奖励的方式不够好。
IPS试图拆掉高频答案的额外优势，LAD希望模型学习更完整的优势分布，Rewarding the Rare和VPO则开始奖励少见、不可替代的正确解法。它们修改了训练信号，却没有完整的改变信号进入模型的方式。
模型仍然先从当前策略生成一批rollout，再根据这些rollout获得的奖励计算梯度。某条正确轨迹出现后，组成它的token会被提高概率，而没有被采到的轨迹，则不会产生任何更新。
这使策略梯度存在一个很难彻底绕开的限制，它只能用被当前模型生成出来的选择更新。
8月Cognition AI发布的《Beyond the Best Guess》就在想，也许梯度下降更新模型的方式可以整体变一下，让它不要再只围着一个模型转了。
论文使用的Evolution Strategies，简称ES，不再先比较同一个模型生成的多条回答，而是比较当前模型周围的一批模型。
普通RL每轮尝试的是一批回答。模型生成多条轨迹，验证器给它们打分，算法再提高高分轨迹的生成概率。
ES每轮尝试的则是一批模型。
研究者先复制当前模型，再给每个副本的参数加上一点不同的随机扰动。这样就得到了一批彼此略有差异的模型。它们拥有相同的基础能力，但思考习惯和输出概率会发生一些变化。
接下来，让这些模型分别完成同一批任务。某个模型变体如果得分更高，就说明它接受的那组参数变化可能有用。而另一个变体如果表现变差，对应的参数方向就应该少走。
比较完这一批模型后，系统把表现较好的参数方向合并起来，更新中间那个模型。下一轮再以这个新模型为中心，产生一批新的变体。
训练结束后留下的仍然是一个模型，并不需要在推理时同时运行几十个版本。这批模型只在训练过程中出现，用来帮助系统寻找参数应该往哪里移动。
从靠近某个答案，改成变成一系列参数变化会同时影响许多问题，它会同时改变大量token的概率，让一种原本很少出现的方法变得可见，也可能同时改善几种不同的行为。
ES留下的是这个参数方向，不是某一条成功回答的复印件。
假设有两个位置。第一个位置上的模型单次表现很好，但参数稍微改变一点，成绩就会迅速下降。第二个位置的最高成绩可能没那么突出，但周围许多参数变化都能保持较好表现。
策略梯度可能更容易把模型推向第一个位置，因为某条高奖励轨迹会直接得到强化。ES会在一片参数邻域内计算表现，第一个位置的优势容易被周围的大量失败抵消，第二个更宽、更稳定的区域则可能获得更高评价。
在这里，ES相当于先把参数空间里的奖励地形磨平一点，再寻找上升方向。一个只有在极精确参数下才能拿高分、稍微扰动就失效的尖锐位置，经过这种平均以后优势会变小，而一片周围很多参数都能拿到较高分的宽阔区域，更容易被选中。
作者认为，这正是ES比较不容易锐化输出分布的原因。
相比于RL，一片能够容纳多种有效行为、对参数变化也比较稳健的区域，更容易在多轮比较中留下来。
换了这种方式后，模型最终形成的输出分布确实不同。
论文在Qwen2.5和Qwen3系列模型上比较了ES与RL，模型规模从1.5B一直到32B。RL通常更擅长把一部分题目练到接近每次都能答对，因此单次回答时经常占优。但随着采样次数增加，RL的pass@k更早进入平台期，有些任务上甚至会被基础模型重新超过。
ES在pass@1上未必总能胜过RL，但增加采样次数以后，它的成绩还能继续增长。在论文测试的范围内，基础模型也没有在高k时反超ES模型。
两种训练方式新增和丢失的能力也不一样。
以Qwen2.5-Math-7B在Olympiad Bench上的结果为例，ES让56道基础模型原来无法解决的题变得可解，RL新增了33道。与此同时，ES丢失了15道基础模型原本能够偶尔解出的题，RL丢失了49道。
这说明ES并不是因为几乎没有学习，才保留了基础模型的输出分布。至少在这个实验中，它新增的可解题目更多，删除的旧入口却更少。
失败时的状态也存在差异。论文把三个数学基准上的回退题合并统计，ES有24道，RL有106道。超过四分之一的RL回退题答案熵已经接近零。模型不仅答错，而且反复采样仍然集中在少数几个错误答案上。但ES即使失败时，通常还保留着更多不确定性，会指向更多可能的答案。
对只看一次答案的benchmark来说，两种失败都是零分。但对于一个长程任务来看，它后面的步骤依然需要进行搜索，因此这两者的价值截然不同。
RL过的模型已经过度确信了某个错误答案，增加rollout也只能得到更多重复。但另一个模型仍然保留多个方向，外部搜索还有继续工作的空间。
一种失败已经把门关死了。另一种失败只是暂时还没有找到出口。
03、反对锐化，也是Agent的题中之义
前面讨论的这些变化，意义并不只限于自进化。
只要模型开始作为Agent长期行动，极端锐化就会带来同样的问题，而且比单次推理更严重。
在前面的讨论中，我曾提及锐化会在长程任务中带来更大的麻烦。
普通推理的搜索空间主要存在于答案内部。Agent每做出一个动作，却都会改变自己随后看到的信息。
一个编程Agent先查看哪个文件，决定了它接下来会注意哪些代码，先使用哪个工具，又决定了环境会返回什么结果。最初的选择不同，后面的任务就会沿着不同方向展开。
一旦最初的行动收敛，后面的观察也会跟着收敛。
这使得在Agent任务中的锐化表现为总是调用同一个工具，总是从同一个入口检查问题，或者过早相信同一类证据。
如果第一步已经把Agent带进了错误区域，后面二十轮推理可能只是在那里做得越来越细。给它更多token、更多工具调用和更长上下文，只会让它沿着同一方向走得更远。计算量增加了，真正探索过的区域却没有明显扩大。
这也是为什么长程任务会放大RL的锐化倾向。
在系列之前的文章中，还提到过近端优化的概念。这会给AI进行复杂科学发现带来非常大的麻烦。而它的来源，也和RL当下的方法密不可分。
成熟路线通常更短，也更容易在训练早期得到奖励。新的工具组合和行动方法开始时往往不稳定，需要绕路，也更容易失败。
如果训练只看当前一轮的平均得分，这些路线还没来得及显出价值，就可能被压到模型不再尝试。
到了环境发生变化的时候，问题才会暴露出来。旧工具失效，任务规模改变，或者过去有效的操作顺序不再适用，Agent却已经失去了切换路线的能力。它对旧环境训练得越充分，反而可能越难适应新情况。
理想的Agent应该有一条可靠的默认路线，但默认路线失败、环境陌生或者反馈互相矛盾时，它还能够换一个入口。它可以先利用已经验证过的方法，同时保留少量预算检查别的假设。这里保留的不是无意义的随机性，而是在新信息出现后仍有改道的能力。
在有选择的情况下，元学习、反思才有用武之地，否则脑袋空空，反思能有什么效果？
这样看，前面那些防止解法过早消失的方法，就不只是为自进化准备的特殊设计。它们也在为Agentic RL解决一个很现实的问题。
自进化只是把这个问题拉到了更长的时间尺度。一个Agent可能在几十轮操作后因为过早收敛而失败；一个自进化系统则可能在几百次训练和改写之后，才发现自己很早以前已经删掉了另一条路。
二者面对的是同一个矛盾，RL需要把有效行为练得更可靠，却不能因此让模型失去根据新证据改变路线的能力。
因此，面对着大势所趋的Agent、以及决定AI发展的自进化，未来的RL都需要为选择而生。
本文来自微信公众号“腾讯科技”，作者：博阳，36氪经授权发布。