神经辐射场世界中的纯视觉机器人导航
机器人学
2022-01-05 v2
摘要
神经辐射场（NeRFs）近来已成为表征自然、复杂3D场景的有力范式。NeRFs在神经网络中表示连续的体密度与RGB值，并通过光线追踪从未见过的相机视角生成照片级真实感图像。我们提出一种算法，仅使用机载RGB相机进行定位，使机器人穿越以NeRF表示的3D环境。我们假设场景的NeRF已离线预训练，机器人的目标是在NeRF中穿过未被占据的空间以到达目标位姿。我们引入一种轨迹优化算法，基于离散时间版微分平坦性（适用于约束机器人全位姿与控制输入）来避免与NeRF中的高密度区域碰撞。我们还引入一种基于优化的滤波方法，在仅给定机载RGB相机的情况下估计机器人在NeRF中的6DoF位姿与速度。我们将轨迹规划器与位姿滤波器结合于在线重规划循环中，形成基于视觉的机器人导航流程。我们给出了四旋翼机器人在丛林健身房环境、一座教堂内部和巨石阵中仅使用RGB相机导航的仿真结果。我们还演示了全向地面机器人在教堂中导航，需要其重新定向以通过狭窄缝隙。本工作的视频见 https://mikh3x4.github.io/nerf-navigation/ 。
引用
@article{arxiv.2110.00168,
title = {Vision-Only Robot Navigation in a Neural Radiance World},
author = {Michal Adamkiewicz and Timothy Chen and Adam Caccavale and Rachel Gardner and Preston Culbertson and Jeannette Bohg and Mac Schwager},
journal= {arXiv preprint arXiv:2110.00168},
year = {2022}
}