EmbodiedSplat：基于移动设备从真实到仿真再到真实的个性化导航方法
计算机视觉与模式识别
2025-09-24 v2 机器人学
摘要
具身人工智能领域主要依赖仿真进行训练和评估，常采用或缺乏光照逼真度的完全合成环境，或使用昂贵硬件捕获的高保真真实世界重建。因此，仿真到现实的迁移仍是主要挑战。本文引入EmbodiedSplat，一种新颖方法，通过高效捕获部署环境并在重建场景中微调策略来实现个性化策略训练。该方法利用3D高斯溅写（GS）和Habitat-Sim仿真器，桥接真实场景捕获与有效训练环境之间的差距。利用iPhone捕获的部署场景，通过GS重建网格，实现接近真实世界条件的训练环境。我们对训练策略、预训练数据集和网格重建技术进行全面分析，评估其对仿真到现实可预测性的影响。实验结果表明，使用EmbodiedSplat微调的智能体，在真实世界图像导航任务中，分别相对于在大规模真实世界数据集（HM3D）和合成生成数据集（HSSD）上的零样本基线，实现了20%和40%的绝对成功率提升。此外，该方法为重建网格的仿真与现实之间的高度相关性（0.87-0.97）奠定了基础，凸显了其在最小努力下适应多样化环境的有效性。项目页面：https://gchhablani.github.io/embodied-splat。
引用
@article{arxiv.2509.17430,
title = {EmbodiedSplat: Personalized Real-to-Sim-to-Real Navigation with Gaussian Splats from a Mobile Device},
author = {Gunjan Chhablani and Xiaomeng Ye and Muhammad Zubair Irshad and Zsolt Kira},
journal= {arXiv preprint arXiv:2509.17430},
year = {2025}
}
备注
16 pages, 18 figures, paper accepted at ICCV, 2025