管道扩散策略:用于接触丰富操作的反应式视觉-触觉策略学习
机器人学
2026-04-28 v1
摘要
接触丰富的操作是许多日常人类活动的核心内容,需要通过多模态感知(尤其是视觉和触觉反馈)持续适应接触不确定性和外部扰动。虽然仿照学习在学习复杂操作行为方面显示出强大的潜力,但大多数现有方法依赖动作分块,这在执行期间对应对不可见观察的能力受到根本性限制。在接触丰富的场景中,物理不确定性和高频触觉反馈要求快速、反应式的控制。为此,我们提出管道扩散策略 (TDP),一种新的反应式视觉-触觉策略学习框架,将基于扩散的仿照学习与管道式反馈控制相结合。通过利用生成模型的表达能力,TDP 学习观察条件下的反馈流,围绕正式动作块形成动作管道,从而在执行期间实现快速且自适应的反应。在广泛使用的推送-块基准测试和三个额外具挑战性的视觉-触觉灵巧操作任务上进行评估,TDP 在所有基准测试中一致优于最先进的仿照学习基线。两个实际实验进一步验证了其在接触不确定性和外部扰动下的鲁棒反应性。此外,由动作管道启发的分步纠正机制显著减少了所需的去噪步骤,使 TDP 适用于接触丰富操作中的实时、高频反馈控制。
引用
@article{arxiv.2604.23609,
title = {Tube Diffusion Policy: Reactive Visual-Tactile Policy Learning for Contact-rich Manipulation},
author = {Teng Xue and Alberto Rigo and Bingjian Huang and Jiayi Shen and Zhengtong Xu and Nick Colonnese and Amirhossein H. Memar},
journal= {arXiv preprint arXiv:2604.23609},
year = {2026}
}