VR-Robo：一种用于视觉机器人导航与运动的Real-to-Sim-to-Real框架
机器人学
2025-06-04 v3 计算机视觉与模式识别
摘要
最近腿式机器人运动的成功归功于强化学习和物理模拟器的结合。然而，由于模拟器通常无法复制视觉真实感和复杂的现实世界几何形状，这些策略在部署到真实世界环境时常常遇到挑战。此外，缺乏逼真的视觉渲染限制了这些策略支持需要基于RGB感知的高级任务（如自我中心导航）的能力。本文提出了一个Real-to-Sim-to-Real框架，该框架为视觉导航和运动学习生成照片级逼真且物理交互的“数字孪生”模拟环境。我们的方法利用基于多视图图像的3D高斯溅射(3DGS)场景重建，并将这些环境集成到支持自我中心视觉感知和基于网格的物理交互的模拟中。为了证明其有效性，我们在模拟器中训练了一个强化学习策略来执行视觉目标跟踪任务。大量实验表明，我们的框架实现了仅使用RGB的Sim-to-Real策略迁移。此外，我们的框架有助于在复杂的新环境中快速适应机器人策略，并具备有效的探索能力，突显了其在家庭和工厂中的应用潜力。
引用
@article{arxiv.2502.01536,
title = {VR-Robo: A Real-to-Sim-to-Real Framework for Visual Robot Navigation and Locomotion},
author = {Shaoting Zhu and Linzhan Mou and Derun Li and Baijun Ye and Runhan Huang and Hang Zhao},
journal= {arXiv preprint arXiv:2502.01536},
year = {2025}
}
备注
Project Page: https://vr-robo.github.io/