面向视觉语言动作模型的机械可解释性

视觉语言动作 (VLA) 模型是实现通用具身智能体、快速适应新任务、模态和环境的有前景的路径。然而，现有方法在解释和引导 VLA 模型方面远不足以经典机器人流程——这些流程基于运动学、动力学和控制的显式模型。这种缺乏机械洞察力是将学习型策略部署到实际机器人中的核心挑战，在实际应用中鲁棒性和可解释性至关重要。鉴于针对大型语言模型的机械可解释性进展，我们引入了首个针对 VLA 模型内部表征的解释与引导框架，使其能够在推理时直接干预模型行为。我们将 transformer 层中的前馈激活投影到 token 嵌入基底，识别出诸如速度和方向等稀疏语义方向，这些方向与动作选择因果关联。基于此，我们引入了一种通用的激活引导方法，可在不进行微调、奖励信号或环境交互的情况下实时调制行为。我们在两个最新开源 VLA 模型 Pi0 和 OpenVLA 上进行评估，展示了在仿真环境 (LIBERO) 和物理机器人 (UR5) 上的零样本行为控制。该工作表明，具身 VLA 模型的可解释组件可被系统性地利用用于控制——为机器人领域的透明和可操控基础模型树立了新范式。