MVP:面向大规模机器人导航的运动与视觉统一自监督学习

自主导航源于真实世界环境中运动与局部视觉感知的共同作用。然而,大多数成功的机器人运动估计方法(如 VO、SLAM、SfM)与视觉系统(如 CNN、视觉地点识别 VPR)通常分别用于建图与定位任务。相反,近期基于强化学习(RL)的视觉导航方法依赖于 GPS 数据接收的质量,当在大型环境中跨数月间隔的多次遍历中直接将其作为真值时,可能并不可靠。本文提出一种新颖的运动与视觉感知方法,称为 MVP,将这两种传感器模态统一用于大规模、目标驱动的导航任务。我们基于 MVP 的方法比相应的纯视觉导航方法学习更快,且对极端环境变化与较差 GPS 数据更精确、更鲁棒。MVP 利用 VPR 获得的紧凑图像表示,与时间上优化的运动估计数据(包括但不限于来自 VO 或优化雷达里程计 RO 的数据)相结合,通过 RL 高效学习自监督导航策略。我们在两个大型真实世界数据集 Oxford Robotcar 与 Nordland Railway 上,使用新的 CityLearn 框架(一个用于高效训练导航智能体的交互式环境),在一系列天气(如阴天、夜晚、雪、晴、雨、云)与季节(如冬、春、秋、夏)条件下进行评估。我们在无 GPS 数据的 Oxford RobotCar 数据集遍历上的实验结果表明,MVP 使用 VO 与 RO 分别可达到 53% 与 93% 的导航成功率,而纯视觉方法仅为 7%。我们还报告了 RL 成功率与运动估计精度之间的权衡。