机器人联觉：基于视触觉感知的灵巧手内操作
机器人学
2024-08-01 v3 计算机视觉与模式识别
机器学习
摘要
执行富含接触的操作任务需要融合触觉和视觉反馈。然而，这些模态的不同性质带来了重大挑战。在本文中，我们引入一个利用视觉和触觉感官输入来实现灵巧手内操作的系统。具体而言，我们提出了 Robot Synesthesia，一种受人类视触觉联觉启发的、基于点云的新型触觉表示。这种方法允许同时且无缝地整合这两种感官输入，提供更丰富的空间信息并促进对机器人动作的更好推理。该方法在模拟环境中训练并随后部署到真实机器人上，适用于各种手内物体旋转任务。我们进行了全面的消融实验，以研究视觉和触觉的整合如何改善强化学习和 Sim2Real 性能。我们的项目页面可在 https://yingyuan0414.github.io/visuotactile/ 获取。
引用
@article{arxiv.2312.01853,
title = {Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing},
author = {Ying Yuan and Haichuan Che and Yuzhe Qin and Binghao Huang and Zhao-Heng Yin and Kang-Won Lee and Yi Wu and Soo-Chul Lim and Xiaolong Wang},
journal= {arXiv preprint arXiv:2312.01853},
year = {2024}
}
备注
Project page: https://yingyuan0414.github.io/visuotactile/