Open-TeleVision：基于沉浸式主动视觉反馈的遥操作系统
机器人学
2024-07-09 v2 人机交互
机器学习
摘要
遥操作是收集机器人演示教学所必需机器人数据的强大方法。遥操作系统的直观性和易用性对于确保高质量、多样且可扩展的数据至关重要。为实现此目标，我们提出一种沉浸式遥操作系统 Open-TeleVision，允许操作员以立体方式主动感知机器人的周围环境。此外，系统镜像操作员的手臂和手部动作于机器人，创造如同操作员意识传输到机器人 embodiment 中的沉浸式体验。我们通过在四个长时序、精确任务（Can Sorting、Can Insertion、Folding 和 Unloading）上收集数据并训练模仿学习策略来验证该系统的有效性，这些任务在两个人形机器人上部署并在实际世界中运行。该系统已开源于：https://robot-tv.github.io/。
引用
@article{arxiv.2407.01512,
title = {Open-TeleVision: Teleoperation with Immersive Active Visual Feedback},
author = {Xuxin Cheng and Jialong Li and Shiqi Yang and Ge Yang and Xiaolong Wang},
journal= {arXiv preprint arXiv:2407.01512},
year = {2024}
}
备注
Website: https://robot-tv.github.io/