RH20T：用于一次性学习多样技能的综合机器人数据集
机器人学
2023-09-27 v2 人工智能
计算机视觉与模式识别
摘要
开放领域机器人操作的一个关键挑战是如何为机器人获取多样且可泛化的技能。近期一次性模仿学习的研究在基于演示将训练策略迁移至新任务上展现出前景。该特性对于使机器人获取新技能及改进任务与运动规划颇具吸引力。然而，受训练数据集限制，当前学界主要关注简单案例，如推或拾放任务，且仅依赖视觉引导。现实中许多复杂技能，其中部分甚至需要视觉与触觉感知共同解决。本文旨在释放智能体借助多模态感知泛化至数百真实世界技能的潜力。为此，我们收集了一个包含超过 110,000 条接触丰富的机器人操作序列的数据集，涵盖多样技能、情境、机器人与相机视角，均采集于真实世界。数据集中每条序列包含视觉、力、音频与动作信息。此外，我们为每个机器人序列提供了相应人类演示视频与语言描述。我们投入大量精力校准所有传感器并确保数据集高质量。该数据集已于 rh20t.github.io 公开。
引用
@article{arxiv.2307.00595,
title = {RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in One-Shot},
author = {Hao-Shu Fang and Hongjie Fang and Zhenyu Tang and Jirong Liu and Chenxi Wang and Junbo Wang and Haoyi Zhu and Cewu Lu},
journal= {arXiv preprint arXiv:2307.00595},
year = {2023}
}
备注
RSS 2023 workshop on LTAMP. The project page is at rh20t.github.io