ManiSkill3: 面向通用具身智能的GPU并行化机器人仿真与渲染
机器人学
2025-06-02 v2 人工智能
摘要
仿真技术为机器人学习带来了前所未有的可计算扩展方法。然而，许多现有仿真框架通常仅支持有限的场景/任务，且缺乏扩展通用机器人学和sim2real所需的关键特性。我们介绍并开源了ManiSkill3，这是最快的面向通用操作任务的、具有接触丰富物理特性的状态-视觉GPU并行化机器人仿真器。ManiSkill3支持多方面的GPU并行化，包括仿真+渲染、异构仿真、点云/体素视觉输入等。在ManiSkill3上进行带渲染的仿真，其运行速度可比其他平台快10-1000倍，GPU内存使用量减少2-3倍，在基准测试环境中由于系统内极低的python/pytorch开销、GPU上的仿真以及SAPIEN并行渲染系统的使用，帧率可达30,000+ FPS。过去需要数小时训练的任务现在只需几分钟即可完成。我们进一步提供了最全面的GPU并行化环境/任务集，涵盖12个不同领域，包括但不限于移动操作（如绘图）、人形机器人和在艺术家设计或真实世界数字孪生的逼真场景中的灵巧操作。此外，还提供了来自运动规划、强化学习和遥操作的数百万演示帧。ManiSkill3还提供了一套全面的基线，涵盖了流行的强化学习和从演示中学习的算法。
引用
@article{arxiv.2410.00425,
title = {ManiSkill3: GPU Parallelized Robotics Simulation and Rendering for Generalizable Embodied AI},
author = {Stone Tao and Fanbo Xiang and Arth Shukla and Yuzhe Qin and Xander Hinrichsen and Xiaodi Yuan and Chen Bao and Xinsong Lin and Yulin Liu and Tse-kai Chan and Yuan Gao and Xuanlin Li and Tongzhou Mu and Nan Xiao and Arnav Gurha and Viswesh Nagaswamy Rajesh and Yong Woo Choi and Yen-Ru Chen and Zhiao Huang and Roberto Calandra and Rui Chen and Shan Luo and Hao Su},
journal= {arXiv preprint arXiv:2410.00425},
year = {2025}
}
备注
Project website: http://maniskill.ai/