Bunny-VisionPro：基于虚拟现实的实时双手灵巧遥操作
机器人学
2024-07-04 v1 计算机视觉与模式识别
机器学习
摘要
遥操作是收集人类演示的关键工具，但控制具有双手灵巧手的机器人仍然具有挑战性。现有的遥操作系统难以处理协调两个手进行复杂操作的复杂性。我们引入Bunny-VisionPro，一个利用 VR 头盔的实时双手灵巧遥操作系统。不同于以往基于视觉的遥操作系统，我们设计了新型低成本设备为操作员提供触觉反馈，增强沉浸感。我们的系统通过创新设计在安全方面包含碰撞和奇点避免，同时保持实时性能。Bunny-VisionPro 在标准任务套件上超越了先前系统，实现更高的成功率和更短的任务完成时间。此外，高质量的遥操作演示改进了下游仿照学习性能，导致更好的泛化。值得注意的是，Bunny-VisionPro 能够实现挑ukan性的多阶段、长期限灵巧操作任务，这些任务在以往工作中鲜有涉及。我们系统在保持安全和实时性能的同时处理双手操作能力，使其成为推动灵巧操作和仿照学习的强大工具。
引用
@article{arxiv.2407.03162,
title = {Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning},
author = {Runyu Ding and Yuzhe Qin and Jiyue Zhu and Chengzhe Jia and Shiqi Yang and Ruihan Yang and Xiaojuan Qi and Xiaolong Wang},
journal= {arXiv preprint arXiv:2407.03162},
year = {2024}
}
备注
project page: https://dingry.github.io/projects/bunny_visionpro.html