用于真实世界零样本机器人操作学习的高保真模拟数据生成
机器人学
2025-10-14 v1
摘要
机器人学习的可扩展性受到实验室数据收集成本和劳动力的显著限制。虽然模拟数据提供了可扩展的替代方案，但由于在视觉外观、物理属性和物体相互作用方面的显著差距，往往难以在现实世界中实现泛化。为此，我们提出RoboSimGS，一种新型Real2Sim2Real框架，将多视角真实世界图像转换为可扩展的、高保真且具有物理互动性的机器人操作仿真环境。我们的 метод采用混合表示进行场景重建：3D高斯溅射(3DGS)捕获环境的照片级真实感，而网格原语用于交互式物体以确保准确的物理仿真。关键的是，我们首次运用多模态大语言模型(MLLM)自动创建具有物理可行性且具备关节运动的资产。MLLM分析视觉数据以推断不仅物理属性（如密度、刚性），还推断复杂的运动学结构（如轴承、滑动轨道）。我们展示了完全基于RoboSimGS生成的数据训练的策略，在多样化的真实世界操作任务上实现了成功的零样本仿真到现实转移。此外，RoboSimGS的数据显著提升了SOTA方法的性能和泛化能力。我们的結果验证了RoboSimGS作为弥合仿真到现实鸿沟的强大且可扩展解决方案。
引用
@article{arxiv.2510.10637,
title = {High-Fidelity Simulated Data Generation for Real-World Zero-Shot Robotic Manipulation Learning with Gaussian Splatting},
author = {Haoyu Zhao and Cheng Zeng and Linghao Zhuang and Yaxi Zhao and Shengke Xue and Hao Wang and Xingyue Zhao and Zhongyu Li and Kehan Li and Siteng Huang and Mingxiu Chen and Xin Li and Deli Zhao and Hua Zou},
journal= {arXiv preprint arXiv:2510.10637},
year = {2025}
}
备注
13 pages, 6 figures