InfiniteWorld：用于通用视觉语言机器人互动的统一可扩展仿真框架
机器人学
2024-12-10 v1
摘要
在具身AI中实现规模定律已成为焦点。然而，先前的工作分散在各种仿真平台，资产和模型缺乏统一接口，导致研究效率低下。为此，我们引入InfiniteWorld，一个基于Nvidia Isaac Sim构建的用于通用视觉语言机器人互动的统一可扩展仿真器。InfiniteWorld包含一套全面的物理资产构建方法和通用自由机器人互动基准。具体而言，我们首先构建了一个集成生成驱动的3D资产构建、Real2Sim、自动注释框架和统一3D资产处理的统一可扩展具身学习仿真框架。该框架为机器人互动和学习提供了一个统一可扩展的平台。此外，为了模拟真实的机器人互动，我们构建了四个新的通用基准，包括场景图协作探索和开放世界社交移动操纵。前者常被忽视作为机器人探索环境并构建场景知识的重要任务，而后者则基于前者模拟不同知识水平代理的机器人互动任务。它们可以更全面地评估具身代理在环境理解、任务规划与执行以及智能互动方面的能力。我们希望这项工作能为社区提供一套系统的资产接口，缓解高质量资产不足的困境，并提供更全面的机器人互动评估。
引用
@article{arxiv.2412.05789,
title = {InfiniteWorld: A Unified Scalable Simulation Framework for General Visual-Language Robot Interaction},
author = {Pengzhen Ren and Min Li and Zhen Luo and Xinshuai Song and Ziwei Chen and Weijia Liufu and Yixuan Yang and Hao Zheng and Rongtao Xu and Zitong Huang and Tongsheng Ding and Luyang Xie and Kaidong Zhang and Changfei Fu and Yang Liu and Liang Lin and Feng Zheng and Xiaodan Liang},
journal= {arXiv preprint arXiv:2412.05789},
year = {2024}
}
备注
8 pages, 5 figures