SplatSim：使用高斯泼溅实现 RGB 操作策略的零样本 Sim2Real 迁移
机器人学
2024-10-08 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
Sim2Real 迁移，特别是对于依赖 RGB 图像的操作策略，由于合成视觉数据与真实世界视觉数据之间存在显著的领域偏移，仍然是机器人技术中的一项关键挑战。在本文中，我们提出了 SplatSim，一种利用高斯泼溅作为主要渲染原语的新框架，以缩小基于 RGB 的操作策略的 Sim2Real 差距。通过在模拟器中用高斯泼溅替换传统的网格表示，SplatSim 生成了高度逼真的合成数据，同时保持了模拟的可扩展性和成本效益。我们通过在 SplatSim 中训练操作策略并以零样本方式将其部署在真实世界中，证明了我们框架的有效性，实现了 86.25% 的平均成功率，而在真实世界数据上训练的策略成功率为 97.5%。视频可在我们的项目页面找到：https://splatsim.github.io
引用
@article{arxiv.2409.10161,
title = {SplatSim: Zero-Shot Sim2Real Transfer of RGB Manipulation Policies Using Gaussian Splatting},
author = {Mohammad Nomaan Qureshi and Sparsh Garg and Francisco Yandun and David Held and George Kantor and Abhisesh Silwal},
journal= {arXiv preprint arXiv:2409.10161},
year = {2024}
}