CoFiI2P:用于图像到点云配准的由粗到精对应方法
计算机视觉与模式识别
2024-09-13 v5 人工智能
机器人学
摘要
图像到点云(I2P)配准是机器人与自动驾驶车辆实现跨模态数据融合与定位的基础任务。当前 I2P 配准方法主要聚焦于在点或像素层级估计对应,常忽略全局对齐。因此,若缺乏来自全局约束的高层引导,I2P 匹配易收敛至局部最优。为提升成功率与总体鲁棒性,本文提出 CoFiI2P,一种以由粗到精方式提取对应的新颖 I2P 配准网络。首先,图像与点云数据通过双流编码器-解码器网络进行分层特征提取。其次,设计由粗到精匹配模块以利用这些特征建立鲁棒特征对应。具体而言,在粗匹配阶段,采用新颖的 I2P transformer 模块捕获图像与点云数据的同质与异质全局信息,从而估计具有判别性描述子的粗超级点/超级像素匹配对。在细匹配模块中,于点/像素对层级在超级点/超级像素对应引导下建立匹配。最后,基于匹配对,使用 EPnP-RANSAC 算法估计变换矩阵。在 KITTI Odometry 数据集上的实验表明 CoFiI2P 取得令人印象深刻的结果,相对旋转误差(RRE)为 1.14 度,相对平移误差(RTE)为 0.29 米,同时保持实时速度。在 Nuscenes 数据集上的补充实验证实了本方法的泛化性。项目页见 \url{https://whu-usi3dv.github.io/CoFiI2P}。
引用
@article{arxiv.2309.14660,
title = {CoFiI2P: Coarse-to-Fine Correspondences for Image-to-Point Cloud Registration},
author = {Shuhao Kang and Youqi Liao and Jianping Li and Fuxun Liang and Yuhao Li and Xianghong Zou and Fangning Li and Xieyuanli Chen and Zhen Dong and Bisheng Yang},
journal= {arXiv preprint arXiv:2309.14660},
year = {2024}
}
备注
Accepted by IEEE RA-L 2024. Code, pretrained models and additional results are available at: https://whu-usi3dv.github.io/CoFiI2P