CMR-Agent：用于迭代图像到点云配准的跨模态智能体学习
计算机视觉与模式识别
2024-08-06 v1 机器人学
摘要
图像到点云配准旨在确定RGB图像相对于点云的相对相机姿态。它在预构建的LiDAR地图中的相机定位中发挥着重要作用。尽管存在模态差异，大多数基于学习的方法在特征空间中建立2D-3D点对应关系，但缺乏用于迭代优化的反馈机制，导致精度和可解释性较差。本文提出将配准过程重新表述为迭代马尔可夫决策过程，允许基于每个中间状态对相机姿态进行增量调整。为实现此目标，我们采用强化学习开发一个跨模态注册智能体（CMR-Agent），并使用模仿学习初始化其注册策略以提高训练的稳定性和快速启动。根据跨模态观察，我们提出一种2D-3D混合状态表示，充分利用RGB图像的细粒度特征，同时减少由相机镜头体积截断导致的无用中性状态。此外，该整体框架设计得足够高效，能够有效重复使用一次性跨模态嵌入，避免重复且耗时的特征提取。在KITTI-Odometry和NuScenes数据集上进行的广泛实验表明，CMR-Agent在注册方面实现了竞争性的精度和效率。一旦完成一次性嵌入，每个迭代仅需几毫秒。
引用
@article{arxiv.2408.02394,
title = {CMR-Agent: Learning a Cross-Modal Agent for Iterative Image-to-Point Cloud Registration},
author = {Gongxin Yao and Yixin Xuan and Xinyang Li and Yu Pan},
journal= {arXiv preprint arXiv:2408.02394},
year = {2024}
}
备注
Accepted to IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2024