GaussGym: 从像素学习运动的一个开源实到仿框架
机器人学
2025-10-20 v1 人工智能
图形学
摘要
我们提出了一种新颖的逼真机器人仿真方法，将3D高斯泼溅作为可插拔渲染器集成到IsaacGym等矢量化物理仿真器中。这使得在消费级GPU上实现了前所未有的速度——超过每秒100,000步——同时保持了高视觉保真度，我们在多种任务中展示了这一点。我们还展示了其在仿真到现实机器人学环境中的适用性。除了基于深度的感知，我们的结果强调了丰富的视觉语义如何改善导航和决策，例如避免不期望的区域。我们进一步展示了轻松整合来自iPhone扫描、大规模场景数据集（例如GrandTour、ARKit）以及生成式视频模型（如Veo）输出的数千个环境的能力，从而能够快速创建逼真的训练世界。这项工作弥合了高通量仿真和高保真感知之间的差距，推动了可扩展和可泛化的机器人学习。所有代码和数据将开源供社区在此基础上构建。视频、代码和数据可在https://escontrela.me/gauss_gym/获取。
引用
@article{arxiv.2510.15352,
title = {GaussGym: An open-source real-to-sim framework for learning locomotion from pixels},
author = {Alejandro Escontrela and Justin Kerr and Arthur Allshire and Jonas Frey and Rocky Duan and Carmelo Sferrazza and Pieter Abbeel},
journal= {arXiv preprint arXiv:2510.15352},
year = {2025}
}