VLA模型为何忽视语言？破解指令跟随幻觉，分布外场景泛化新突破

【导读】当前VLA模型常依赖视觉线索而非语言指令，导致在新场景下表现不佳。论文提出LangForce方法，通过引入对数似然比损失，强化模型对语言的依赖，提升其在分布外环境中的泛化能力，并保留语言核心功能。

视觉-语言-动作 (VLA) 模型结合了视觉理解、自然语言处理和动作生成，使机器人能够遵循人类指令。这些模型利用预训练的视觉-语言模型 (VLM) 来理解它们所看到的内容以及被要求做的事情，然后将这种理解转化为物理动作。

然而，当前的VLA模型面临一个根本问题：它们经常会形成一种「视觉捷径」，使得其忽略语言指令，而仅仅依赖视觉线索。

之所以会发生，是因为典型的机器人训练数据集在机器人看到的内容和它应该执行的动作之间创建了可预测的映射，使得语言指令变得多余。例如，看到一个柜子几乎总是意味着「打开柜子」，而不管实际给出的指令是什么。

换句话说，对VLA模型的训练来说，语言往往无法为模型提供额外的信息

从贝叶斯视角来看，一个VLA策略

可以分解为：

此处，

代表仅视觉的先验（即，在此场景中哪些动作是可能的？），而

是语言似然（即，动作a多大程度上能解释指令

？）。当

较为尖锐时，模型可仅从v预测

，而无需关注a。

因此，似然项

简化为

，后验策略退化为先验：

换句话说，模型有效地忽略了语言指令，学习了一种「视觉捷径」，而当任务存在歧义或环境发生变化时，这种方法就会失效

论文链接：https://arxiv.org/abs/2601.15197

华中科技大学、哈工大、港科广等发布的最新论文中，首先提供实证证据来支持假设：在目标驱动的数据集上训练的标准 VLA 模型通常学习的是仅视觉的策略

，而非真正的语言条件策略

。

具体而言，研究人员采用starVLA中的Qwen3VL-4B-GR00T模型作为代表性VLA架构进行了三项初步实验，以揭示这一「指令跟随的幻觉」。

在所有三项实验中，通过仅输入视觉观测v而屏蔽语言指令

来训练模型。

实验1：识别测试中的视觉捷径

研究人员首先在PhysicalAI-Robotics-GR00T-X-Embodiment-Sim (HuggingFace数据集名称) 的Humanoid机器人桌面操作数据上训练一个标准的VLA模型，并在RoboCasa基准的24个任务上进行评估。由于训练和测试场景非常相似，在全部24个任务上，仅使用视觉的模型取得了44.6%的成功率，与语言条件下的基准（47.8%）非常接近。

这一微小差距表明，该模型在无需依赖语言指令的情况下也能取得成功，因为训练和评估场景及任务高度相似，使模型能够学习到从视觉到动作的近似确定性映射。下图提供了一个相关示例。

实验2：分歧情境下的失败

为了进一步研究这种行为，研究人员在经典的LIBERO基准上训练了一VLA模型，该基准包含四个子集：Spatial、Object、Long 和 Goal，使用同一个模型在所有四个训练集上联合训练，并在所有四个测试集上进行评估。

结果显示，在三个子集（Spatial: 95.7%，Object: 92.7%，Long: 95.3%）上，仅视觉模型的表现与完整VLA模型相当，这些子集中每个视觉场景对应单一任务。然而，在 LIBERO Goal子集上，仅视觉模型的成功率骤降至12.4%。

关键区别在于，LIBERO Goal本身存在分歧：在训练过程中，相同的物体配置可能对应多个有效任务。例如，一个包含多个碗、炉灶和抽屉的场景，可能对应「将碗放入抽屉」或「将碗放在炉灶上」。

实验3：分布外泛化中的灾难性失败

最后，研究人员通过在高质量的BridgeDataV2数据集（diverse, in-the-wild scenes）上进行训练，并在SimplerEnv（simulation, OOD）上进行评估，来测试模型的泛化能力。

在Bridge数据集上训练时，仅视觉模型的动作损失为0.13，与完整语言条件模型的损失0.08（如图 2(b) 所示）相当。这表明，即使在多样化的、真实世界场景中，模型仍能识别出视觉捷径（例如特定光照或背景特征对应特定动作），从而在无需真正理解语言指令的情况下最小化训练目标。

然而，这种对视觉捷径的依赖对泛化能力造成了灾难性的影响。

在呈现视觉上截然不同的仿真环境的SimplerEnv上进行评估时，仅使用视觉的基准方法取得了接近0%的成功率，证实了在Bridge任务中实现的低训练损失是由于过度拟合特定领域的视觉模式，而非学习到可泛化的操作技能。

因此，当这些特定的视觉线索在分布外（OOD）环境中缺失时，策略会完全失效。

信息坍缩

研究人员将「视觉捷径」形式化为指令与动作之间条件互信息（Conditional Mutual Information，CMI）的坍缩。理想情况下，一个鲁棒的 VLA 策略应保持较高的

，这意味着动作选择能显著降低对指令的不确定性。然而，CMI 受语言的条件熵所限制：

在目标驱动的数据集中，确定性映射

暗示

。

因此，

被迫坍缩，理论上阻止了模型学习a与

之间超出v所捕捉内容的任何依赖关系。为打破这一僵局，我们必须在模型优化中显式干预以最大化动作所提供的信息增益。

研究人员提出对数似然比（LLR）损失，其能有效估计点互信息（PMI），仅在策略捕捉到

的特定语义且这些语义不可预测自v时才给予奖励。

具体来说，LLR损失表述为最大化后验策略与仅视觉先验之间的对数似然比：

方法：LangForce

LLR损失要求同时建模后验

和先验

。

为此，研究人员引入了潜在动作查询机制，通过K=64个可学习的 token 扩展了VLM词表，记为：

这些查询作为视觉语言模型（如 Qwen3-VL ）与动作专家间的专用瓶颈接口。训练时，在输入的文本指令中追加Q，并仅使用其对应的最后一层隐状态

作为条件注入到动作专家的流匹配过程中。 这一设计选择至关重要：通过利用Decoder-only 视觉语言模型固有的因果掩码机制，只需改变Q在文本指令中的位置，即可精确控制

中编码的信息。这种灵活性使得我们能够严格分离「仅视觉」与「视觉-语言」上下文，从而满足双分支策略的需求。

具体来说, 为了估计先验

，构建输入序列为：

由于仅解码器视觉语言模型的因果注意力掩码，Q中的token可以关注视觉观测v，但不能关注之后出现的语言指令

。

因此，隐状态

仅编码视觉信息。使用这些特征来预测动作a，并通过优化流匹配损失

来学习数据集固有的动作偏差。

而为了估计真实策略

，将输入排列为：

此处，Q出现在

之后，使其能够同时关注视觉和语言。生成的隐状态编码了完整的上下文信息。

研究人员优化主要的流匹配损失

来学习专家动作。

最后，除了动作预测之外，显式地优化了LLR目标。

具体而言，在先验分支中，语言token

关注了排列在其前面的

。

由于Q通过先验编码了动作信息a，因此在该分支中生成

的概率近似于

。

在后验分支中，可以通过断开梯度计算一个基准值

。

随后，最大化两个分支之间语言token的对数概率差异：

其中

表示停止梯度操符。

最大化该项（最小化 −LLLR）以迫使动作表示

携带能够解释

的信息。最终的训练损失结合了双分支的动作预测损失与 LLR 极大化项：

其中，λ用于平衡先验与后验动作损失的贡献，β用于控制LLR正则化的强度。推理阶段，仅执行后验分支以获得

，并通过DiT生成动作。 

这确保了该方法在测试时相比标准 VLA 基准不会引入额外的计算开销。

实验结果

SimplerEnv 、RoboCasa与LIBERO

LangForce在多项基准测试中展现出显著改进：

对分布外泛化能力 (SimplerEnv)， LangForce平均成功率达到66.5%，超越所有对比算法, 且相较于基线QwenGR00T，实现了11.3%的绝对提升。

对分布内性能 (RoboCasa), LangForce同样达到最先进水平的平均成功率52.6%，优于包括QwenOFT (48.8%) 和Isaac-GR00T (47.6%) 在内的强大基线。

最后，在经典的LIBERO上，LangForce在Goal套件上达到了99.4%的成功率，相较于Qwen3-VL-GR00T基线（97.4%）提升了+2.0%，Goal 套件存在显著的视觉分歧，多个任务共享同一场景。

该结果实证验证了方法能有效缓解视觉捷径问题，使模型通过稳健的指令。

为了进一步证实这一观点，研究人员对LIBERO Goal数据集上的条件熵进行了定量分析，LangForce在NLL上显著高于QwenGR00T。

值得注意的是，LIBERO Goal中的语言结构具有高度重复性（例如 「把 [物体] 放在/放进 [容器]」），自然促使模型拟合这些句法模式。

尽管如此，该方法仍表现出更高的NLL与PPL，表明LangForce保持了与视觉场景固有模糊性相符的不确定性水平。

通过维持这一必要不确定性，该方法迫使策略主动利用提供的语言指令以解决歧义，直接促进了在Goal套件上的优异表现。

语言能力的保留

同时, LangForce的一个关键优势在于它能够保留底层视觉-语言模型的原始推理和对话能力。标准的VLA微调往往伴随着其中LLM模型语言能力的丧失和通用能力的退化，但LangForce却保持了VLM的语言核心。

在基线方法中，「视觉捷径」会使指令在控制任务中变得实际上冗余，从而削弱鼓励有意义语言处理的训练信号，并加剧共享参数的偏移，最终表现为即使在纯文本查询上也会失败。

相比之下，该方法通过LLR损失强制模型对语言产生强依赖。 该机制起到正则化作用，有效维持了指令的功能性，从而在视觉模态被专门用于控制任务的同时，依然保留了主干模型的纯文本对话能力。

这种能力的保留具有重要的实际价值：它确保了VLA的LLM部分的不会退化为降低的浅层特征映射器。通过保留其语言核心，VLA得以维持对高层推理和对新指理和对新指令泛化的潜力。

参考资料：https://arxiv.org/abs/2601.15197 

本文来自微信公众号“新智元”，编辑：LRST ，36氪经授权发布。