MaFreeI2P：一种无匹配图像到点云配准范式及其主动相机姿态检索
计算机视觉与模式识别
2024-08-06 v1 图像与视频处理
摘要
图像到点云配准旨在估计它们之间的相对相机姿态，这仍是由于数据模态差距而悬而未决的问题。最近的基于匹配的方法倾向于通过构建 2D-3D 对应关系来解决此问题。本文揭示了这些方法固有的隐含信息损失，并提出一种无匹配范式，命名为 MaFreeI2P。我们的关键洞察是通过对比点云与查询图像之间的几何特征，主动检索 SE(3) 空间中的相机姿态。为实现此目标，我们首先对一组候选相机姿态进行采样，并构建其基于交叉模态特征的成本体积。优于匹配的是，成本体积可以保留更多信息，其特征相似性隐式反映了所采样姿态的置信水平。随后，我们采用卷积网络自适应地构建相似性评估函数，其中输入的成本体积经过滤波和姿态加权后进一步改进。最后，我们根据相似性得分更新相机姿态，并采用一种启发式策略迭代缩小姿态采样空间以实现收敛。我们的 MaFreeI2P 在 KITTI-Odometry 和 Apollo-DaoxiangLake 数据集上实现了相当竞争的注册精度和召回率。
引用
@article{arxiv.2408.02392,
title = {MaFreeI2P: A Matching-Free Image-to-Point Cloud Registration Paradigm with Active Camera Pose Retrieval},
author = {Gongxin Yao and Xinyang Li and Yixin Xuan and Yu Pan},
journal= {arXiv preprint arXiv:2408.02392},
year = {2024}
}
备注
Accepted to IEEE Conference on Multimedia Expo 2024