基于近似盲 PnP 的 2D-3D 对应关系学习：MinCD-PnP
计算机视觉与模式识别
2025-07-22 v1
摘要
图像到点云 (I2P) 注册是计算机视觉中的一个基本问题，关注在图像和点云之间建立 2D-3D 对应关系。基于 2D-3D 对应关系施加投影约束的差分 PnP 已被广泛用于监督 I2P 注册网络，但差分 PnP 对预测对应的噪声和离群值极其敏感。这一问题限制了对应关系学习的效果。受盲 PnP 对噪声和离群值的鲁棒性启发，我们提出一种基于近似盲 PnP 的对应关系学习方法。为缓解盲 PnP 的高计算成本，我们将盲 PnP 简化为最小化学习的 2D 与 3D 关键点间的 Chamfer 距离的可行任务，称为 MinCD-PnP。为有效求解 MinCD-PnP，我们设计了一个轻量级的多任务学习模块，命名为 MinCD-Net，可轻易集成到现有的 I2P 注册架构中。在 7-Scenes、RGBD-V2、ScanNet 和自收集数据集上的大量实验表明，MinCD-Net 在跨场景和跨数据集设置下均优于最先进的方法，并在更高的对应率 (IR) 和注册召回率 (RR) 上取得佳绩。
引用
@article{arxiv.2507.15257,
title = {MinCD-PnP: Learning 2D-3D Correspondences with Approximate Blind PnP},
author = {Pei An and Jiaqi Yang and Muyao Peng and You Yang and Qiong Liu and Xiaolin Wu and Liangliang Nan},
journal= {arXiv preprint arXiv:2507.15257},
year = {2025}
}
备注
Accepted by ICCV 2025