机器人心灵遥动：通过观看 Youtube 上的人类来学习机器人手模仿器
机器人学
2022-07-26 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
我们构建了一个系统，使任何人都可以通过用自己的手演示动作来操控机器人手与手臂。机器人通过单个 RGB 相机观察人类操作者并实时模仿其动作。人类手与机器人手在形状、尺寸和关节结构上均不同，且从单个未标定相机进行这种映射是一个高度欠约束问题。此外，重定目标后的轨迹必须在物理机器人上有效执行任务，这要求它们时间上平滑且无自碰撞。我们的关键洞见是：尽管配对人-机器人对应数据收集成本高昂，但互联网包含海量丰富多样的人类手部视频语料。我们利用该数据训练一个理解人类手并将人类视频流重定目标为平滑、迅速、安全且与引导演示语义相似的机器人手-臂轨迹的系统。我们展示了它使此前未经训练的人能够在各类灵巧操作任务上远程操控机器人。我们这种低成本、无手套、无标记远程遥操作系统使机器人教学更易于获取，并希望其能助力机器人在真实世界中学习自主行动。视频见 https://robotic-telekinesis.github.io/
引用
@article{arxiv.2202.10448,
title = {Robotic Telekinesis: Learning a Robotic Hand Imitator by Watching Humans on Youtube},
author = {Aravind Sivakumar and Kenneth Shaw and Deepak Pathak},
journal= {arXiv preprint arXiv:2202.10448},
year = {2022}
}
备注
RSS 2022 final version. Website and demos at https://robotic-telekinesis.github.io/