反应扩散策略：用于接触丰富操作的慢-快视觉-触觉策略学习
机器人学
2025-04-24 v3 人工智能
机器学习
摘要
人类能够通过视觉和触觉完成复杂的接触丰富任务，具备快速响应外部变化和自适应控制接触力的高度反应能力；然而，这在机器人领域仍具有挑战性。现有的视觉模仿学习 (IL) 方法依赖于动作块来建模复杂行为，缺乏在块执行期间对实时触觉反馈的即时响应能力。此外，大多数遥操作系统难以提供细粒度的触觉/力反馈，这限制了可执行任务的范围。为此，我们引入 TactAR，一个通过增强现实 (AR) 提供实时触觉反馈的低成本遥操作系统，以及 Reactive Diffusion Policy (RDP)，一种用于学习接触丰富操作技能的新型慢-快视觉-触觉模仿学习算法。RDP 采用两级层次结构：(1) 用于以低频率在潜在空间中预测高级动作块的慢速潜在扩散策略，(2) 用于在高频率下实现闭环触觉反馈控制的快速非对称标记化器。这种设计使复杂轨迹建模和快速反应行为能够在统一的框架内实现。通过在三个具有挑战性的接触丰富任务上的广泛评估，RDP 显著优于最新的视觉 IL 基线模型。此外，实验表明 RDP 可跨越不同的触觉/力传感器。代码和视频在 https://reactive-diffusion-policy.github.io 提供。
引用
@article{arxiv.2503.02881,
title = {Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation},
author = {Han Xue and Jieji Ren and Wendi Chen and Gu Zhang and Yuan Fang and Guoying Gu and Huazhe Xu and Cewu Lu},
journal= {arXiv preprint arXiv:2503.02881},
year = {2025}
}
备注
Accepted to RSS 2025. Project page: https://reactive-diffusion-policy.github.io