后院中的机器人学习：基于开源组件的神经模拟器

3D Gaussian Splatting 在快速且高质量的新视角合成方面的出现，使得从视频中构建用于机器人强化学习的照片级真实感模拟器成为可能。尽管该方法已在多篇研究论文中得到展示，但用于构建此类模拟器的软件工具仍然不可用或为专有软件。我们提出了 SplatGym，一个用于训练数据驱动的机器人控制策略的开源神经模拟器。该模拟器从单个视频创建照片级真实感的虚拟环境。它支持自持相机视角生成、碰撞检测和虚拟物体修复。我们展示了通过强化学习训练多种视觉导航策略。SplatGym 代表了迈向用于机器人学习的开源通用神经环境的重要第一步。它通过提供便捷且不受限制的工具，并消除手动开发传统 3D 环境的需求，拓宽了可以有效利用强化学习的应用范围。