行动以感知，感知以行动：用于自适应策略的扩散驱动的感知-行动交互
机器人学
2025-11-13 v4
摘要
现有的模仿学习方法将感知与行动解耦，忽略了人类在自适应行为中自然利用的感知表征与行动执行之间的因果互惠性。为了弥合这一差距，我们引入了行动引导扩散策略（DP-AG），这是一种统一的表征学习，通过概率潜在动力学显式地建模感知与行动之间的动态交互。DP-AG 通过变分推断将潜在观测编码为高斯后验，并使用行动引导的 SDE 对其进行演化，其中扩散策略噪声预测的向量-雅可比积（VJP）作为驱动潜在更新的结构化随机力。为了促进感知与行动之间的双向学习，我们引入了循环一致对比损失，将噪声预测器的梯度流组织成连贯的感知-行动循环，强制潜在更新和行动细化中的一致转换。在理论上，我们推导了行动引导 SDE 的变分下界，并证明了对比目标增强了潜在轨迹和行动轨迹的连续性。在实验上，DP-AG 在仿真基准和真实世界 UR5 操作任务中均显著优于现有方法。因此，我们的 DP-AG 为弥合生物适应性与人工策略学习迈出了有希望的一步。
引用
@article{arxiv.2509.25822,
title = {Act to See, See to Act: Diffusion-Driven Perception-Action Interplay for Adaptive Policies},
author = {Jing Wang and Weiting Peng and Jing Tang and Zeyu Gong and Xihua Wang and Bo Tao and Li Cheng},
journal= {arXiv preprint arXiv:2509.25822},
year = {2025}
}
备注
39th Conference on Neural Information Processing Systems (NeurIPS 2025)