中文

RoboCasa:面向通用机器人的日常任务大规模仿真

机器人学 2024-06-05 v1 人工智能 机器学习

摘要

近期的人工智能进步主要由规模推动。机器人领域的规模受限于缺乏大规模机器人数据集。我们主张使用真实的物理仿真作为扩展环境、任务和机器人学习数据集的方法。我们提出RoboCasa,一个用于训练日常环境中通用机器人的大规模仿真框架。RoboCasa具备聚焦厨房环境的真实且多样化场景。我们提供数千个3D资产,覆盖150多个物品类别以及可交互的家具和电器。我们利用生成式AI工具丰富了仿真的真实性和多样性,例如来自文本到3D模型的对象资产和来自文本到图像模型的环境纹理。我们设计了100项任务用于系统化评估,包括由大型语言模型指导生成的复合任务。为促进学习,我们提供高质量的人类演示,并整合自动轨迹生成方法以最小化人类负担的方式大幅扩大数据集。我们的实验显示,使用人工生成的机器人数据进行大规模模仿学习存在明显的规模趋势,并在实际任务中展现出巨大的潜力。视频和开源代码均可在https://robocasa.ai/获取。

关键词

引用

@article{arxiv.2406.02523,
  title  = {RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots},
  author = {Soroush Nasiriany and Abhiram Maddukuri and Lance Zhang and Adeet Parikh and Aaron Lo and Abhishek Joshi and Ajay Mandlekar and Yuke Zhu},
  journal= {arXiv preprint arXiv:2406.02523},
  year   = {2024}
}

备注

RSS 2024