TouchGuide：基于触觉引导的视觉-触觉策略推理时控制
机器人学
2026-05-14 v6
摘要
细粒度且接触丰富的操控仍然给机器人带来挑战，主要原因是未充分利用触觉反馈。为此，我们引入TouchGuide，这是一种新的跨策略的视觉-触觉融合范式，将多种感知模态融合到低维动作空间中。具体而言，TouchGuide通过两个阶段在推理时引导预训练的视觉-触觉策略。首先，策略仅使用视觉输入在早期采样阶段产生粗糙且视觉上可信的动作。其次，特定于任务的接触物理模型（CPM）提供触觉引导，以引导和细化动作，确保其符合现实物理接触条件。通过对比学习在有限的专家演示数据上训练，CPM提供触觉信息的可行性评分，以将采样过程引导 toward满足物理接触约束的细化动作。此外，为便于使用高质量且高性价比的数据进行TouchGuide训练，我们引入TacUMI数据收集系统。TacUMI在精度与 affordability 之间取得了有利的平衡点；通过利用刚性指尖，实现直接触觉反馈，从而 enables 收集可靠的触觉数据。对五项具有挑战性的接触丰富任务进行大量实验，如鞋带系绳和芯片接力，结果表明TouchGuide在与最先进的视觉-触觉策略方面 consistently and显著地优于state-of-the-art visuo-tactile policies。
引用
@article{arxiv.2601.20239,
title = {TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance},
author = {Zhemeng Zhang and Jiahua Ma and Xincheng Yang and Xin Wen and Yuzhi Zhang and Boyan Li and Yiran Qin and Jin Liu and Can Zhao and Li Kang and Haoqin Hong and Zhenfei Yin and Philip Torr and Hao Su and Ruimao Zhang and Daolin Ma},
journal= {arXiv preprint arXiv:2601.20239},
year = {2026}
}