Re$^3$Sim：基于 3D 高保真实到仿真生成机器人操作仿真数据
机器人学
2025-02-18 v3
摘要
机器人领域的真实世界数据收集成本高昂且资源密集，需要专业操作员和昂贵硬件。仿真提供了可扩展的替代方案，但由于几何和视觉差距，往往难以实现仿真到现实的泛化。为此，我们提出一种 3D 高保真实到仿真系统，称为 RESIM，旨在解决几何和视觉仿真到现实的差距。RESIM 采用先进的 3D 重建和神经渲染技术，忠实再现真实场景，使模拟内的跨视图相机能够实现实时渲染。通过利用特权信息在仿真中高效收集专家演示，并利用模仿学习训练机器人策略，我们在 various 操作任务场景中验证了实到仿真再实到的有效性。值得注意的是，仅使用仿真数据，我们便实现了零样本仿真到现实迁移，平均成功率超过 58%。为推动实到仿真的极限，我们进一步生成了大规模仿真数据集，展示了如何构建从仿真数据中构建的鲁棒策略，能够在 various 对象之间实现泛化。代码和演示可在 http://xshenhan.github.io/Re3Sim/ 查看。
引用
@article{arxiv.2502.08645,
title = {Re$^3$Sim: Generating High-Fidelity Simulation Data via 3D-Photorealistic Real-to-Sim for Robotic Manipulation},
author = {Xiaoshen Han and Minghuan Liu and Yilun Chen and Junqiu Yu and Xiaoyang Lyu and Yang Tian and Bolun Wang and Weinan Zhang and Jiangmiao Pang},
journal= {arXiv preprint arXiv:2502.08645},
year = {2025}
}