VideoDex：从互联网视频中学习灵巧操作
机器人学
2022-12-09 v1 人工智能
计算机视觉与模式识别
机器学习
系统与控制
系统与控制
摘要
为构建可在多种环境中运行的通用机器人智能体，机器人往往需要在真实世界中收集经验。然而，由于安全性、时间和硬件限制，这常常不可行。因此我们提议利用仅次于真实世界经验的事物作为替代：人类使用双手的互联网视频。视觉先验（如视觉特征）通常从视频中学习，但我们相信视频中更多信息可作为更强的先验被利用。我们构建了一种学习算法 VideoDex，其利用来自人类视频数据集的视觉、动作和物理先验来引导机器人行为。神经网络中的这些动作与物理先验决定了特定机器人任务的典型人类行为。我们在机械臂与灵巧手基系统上测试了我们的方法，并在各类操控任务上展示了强劲结果，优于多种最优方法。视频见 https://video-dex.github.io
引用
@article{arxiv.2212.04498,
title = {VideoDex: Learning Dexterity from Internet Videos},
author = {Kenneth Shaw and Shikhar Bahl and Deepak Pathak},
journal= {arXiv preprint arXiv:2212.04498},
year = {2022}
}
备注
Accepted at CoRL 2022. Website at https://video-dex.github.io