基于多视图约束的 2D-3D 位姿跟踪
机器人学
2024-10-28 v1
摘要
相机在 3D LiDAR 地图中的定位因其在复杂场景中超越纯视觉定位方法局限性的可观能力而受到越来越多的关注。然而，现有方法多聚焦于解决跨模态鸿沟，逐帧估计相机位姿而未考虑相邻帧间的关系，这使得位姿跟踪不稳定。为缓解此问题，我们提出利用 2D-2D 特征匹配耦合相邻帧间的 2D-3D 对应关系，建立多视图几何约束以同时估计多个相机位姿。具体而言，我们提出一种新的 2D-3D 位姿跟踪框架，其包含：用于连续帧的前端混合流估计网络与后端位姿优化模块。我们进一步设计了一种基于跨模态一致性的损失，以在训练与推理过程中融入多视图约束。我们在 KITTI 与 Argoverse 数据集上评估了所提框架。实验结果表明，相较现有的逐帧 2D-3D 位姿跟踪方法与最先进的纯视觉位姿跟踪算法，其具有更优性能。更多在线位姿跟踪视频见 \url{https://youtu.be/yfBRdg7gw5M}
引用
@article{arxiv.2309.11335,
title = {2D-3D Pose Tracking with Multi-View Constraints},
author = {Huai Yu and Kuangyi Chen and Wen Yang and Sebastian Scherer and Gui-Song Xia},
journal= {arXiv preprint arXiv:2309.11335},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication