GRUtopia：在规模宏大的城市中梦想通用机器人
机器人学
2024-07-16 v1 计算机视觉与模式识别
摘要
最近的研究探索了Embodied AI中的规模定律。鉴于收集真实世界数据成本高昂，我们认为Simulation-to-Real（Sim2Real）范式是扩大肉身模型学习的关键步骤。本文介绍项目GRUtopia，即第一个为各种机器人设计的交互式3D社会。其包含几个突破性进展：(a) 场景数据集GRScenes包含10万个交互式、精细标注的场景，这些场景可以自由组合成城市规模的环境。与之前主要关注家庭的工作不同，GRScenes覆盖89种多样化的场景类别，弥合了服务导向环境的鸿沟，其中通用机器人最初将部署。(b) GRResidents是一个由大型语言模型（LLM）驱动的非玩家角色（NPC）系统，负责社交交互、任务生成和任务分配，从而模拟Embodied AI应用的社交场景。(c) 基准GRBench支持各种机器人，但以腿部机器人为主要代理人，提出中等难度的任务，包括物体定位导航、社交定位导航和Loco-Manipulation。我们希望这项工作能缓解该领域高质量数据稀缺的难题，并为Embodied AI研究提供更全面的评估。该项目已在https://github.com/OpenRobotLab/GRUtopia 上发布。
引用
@article{arxiv.2407.10943,
title = {GRUtopia: Dream General Robots in a City at Scale},
author = {Hanqing Wang and Jiahe Chen and Wensi Huang and Qingwei Ben and Tai Wang and Boyu Mi and Tao Huang and Siheng Zhao and Yilun Chen and Sizhe Yang and Peizhou Cao and Wenye Yu and Zichao Ye and Jialun Li and Junfeng Long and Zirui Wang and Huiling Wang and Ying Zhao and Zhongying Tu and Yu Qiao and Dahua Lin and Jiangmiao Pang},
journal= {arXiv preprint arXiv:2407.10943},
year = {2024}
}