面向图像到点云配准的数量感知由粗到精对应
计算机视觉与模式识别
2024-01-19 v2
摘要
图像到点云配准旨在确定 RGB 图像与参考点云之间的相对相机位姿，作为从 2D 观测定位 3D 物体的通用方案。由于模态差异，将单个点与像素进行匹配本质上具有歧义性。为应对该挑战，我们提出一种框架来捕获局部点集与像素块之间数量感知的对应关系，并在点级和像素级细化结果。该框架对齐点集与像素块的高层语义以提升匹配精度。在粗尺度上，集到块的对应关系预期受 3D 点数量的影響。为此，提出一种新颖的监督策略，自适应地将相关程度量化为连续值。在更细尺度上，通过精心设计的方案从更小的搜索空间中细化点到像素的对应，该方案结合了重采样与数量感知先验。特别地，提出一种置信度排序策略，在最终阶段按比例筛选更优的对应。利用高质量对应的优势，该问题在随机采样一致性（RANSAC）框架下使用高效的 Perspective-n-Point 求解器成功解决。在 KITTI Odometry 和 NuScenes 数据集上的大量实验证明了我们的方法优于最先进的方法。
引用
@article{arxiv.2307.07142,
title = {Quantity-Aware Coarse-to-Fine Correspondence for Image-to-Point Cloud Registration},
author = {Gongxin Yao and Yixin Xuan and Yiwei Chen and Yu Pan},
journal= {arXiv preprint arXiv:2307.07142},
year = {2024}
}