强化学习遇见视觉里程计
计算机视觉与模式识别
2024-07-23 v1 机器人学
摘要
视觉里程计（VO）是下游移动机器人和增强/虚拟现实任务的关键技术。尽管近期取得了进展，现有 VO 方法仍依赖需人类专家进行数周调参的启发式设计选择，限制了其通用性和鲁棒性。我们通过将 VO 重新表述为序列决策问题并应用强化学习（RL）来动态适应 VO 流程。我们的 approach 引入一种神经网络，作为 VO 流水线中的智能体，基于实时条件做出关键帧和网格大小选择等决策。我们的 method 通过基于姿态误差、运行时及其他指标的奖励函数来最小化对启发式选择的依赖。我们的 RL 框架将 VO 系统和图像序列视为环境，智能体接收来自关键点、地图统计信息和先前姿态的观察。使用经典 VO 方法和公共基准进行实验，结果在准确性和鲁棒性方面均取得改进，验证了我们 RL 增强 VO 方法在不同情景下的通用性。我们认为，这一范式转变通过消除对启发式参数调参中时间密集型工作，推动了 VO 技术的发展。
引用
@article{arxiv.2407.15626,
title = {Reinforcement Learning Meets Visual Odometry},
author = {Nico Messikommer and Giovanni Cioffi and Mathias Gehrig and Davide Scaramuzza},
journal= {arXiv preprint arXiv:2407.15626},
year = {2024}
}