MimicTouch：利用多模态人类触觉演示进行接触丰富操作
机器人学
2025-02-07 v4 机器学习
摘要
触觉感知对于插入和装配等细粒度、接触丰富的操作任务至关重要。先前的研究已表明从遥操作演示数据中学习触觉引导策略的可能性。然而，为了提供演示，人类用户通常依赖视觉反馈来控制机器人。这在用于控制机器人的感知模态（视觉）与感兴趣的模态（触觉）之间造成了鸿沟。为弥补这一鸿沟，我们提出了“MimicTouch”，一种直接从人类用手提供的演示中学习策略的新框架。其关键创新在于：i) 一个人类触觉数据收集系统，用于收集多模态触觉数据集以学习人类的触觉引导控制策略；ii) 一个基于模仿学习的框架，通过这些数据学习人类的触觉引导控制策略；iii) 一个在线残差 RL（强化学习）框架，以弥补人手与机器人夹爪之间的具身差距。通过综合实验，我们突出了利用人类触觉引导控制策略来解决接触丰富操作任务的有效性。项目网站位于 https://sites.google.com/view/MimicTouch。
引用
@article{arxiv.2310.16917,
title = {MimicTouch: Leveraging Multi-modal Human Tactile Demonstrations for Contact-rich Manipulation},
author = {Kelin Yu and Yunhai Han and Qixian Wang and Vaibhav Saxena and Danfei Xu and Ye Zhao},
journal= {arXiv preprint arXiv:2310.16917},
year = {2025}
}
备注
Accepted by CoRL 2024, Best Paper Award at NeurIPS 2023 Touch Processing Workshop