Diff$^2$I2P：基于扩散先验的可微分图像到点云配准
计算机视觉与模式识别
2025-07-10 v1
摘要
学习跨模态对应关系是图像到点云（I2P）配准的关键任务。现有方法主要通过度量学习实现跨模态特征对齐，忽略了图像与点数据之间的固有模态差距。因此，这种范式难以确保准确的跨模态对应。受最新大扩散模型跨模态生成成功的启发，我们提出了DiffI2P，一个完全可微分的I2P配准框架，利用新颖且有效的扩散先验来桥接模态差距。具体而言，我们提出了控制侧得分蒸馏（Control-Side Score Distillation, CSD）技术，从深度条件扩散模型蒸馏知识，直接优化预测变换。然而，由于对应检索和PnP求解器的不可微性，变换上的梯度无法反向传播到跨模态特征上。为此，我们进一步提出了可变形对应调谐（Deformable Correspondence Tuning, DCT）模块，以可微分方式估计对应，然后通过可微分PnP求解器进行变换估计。通过这两个设计，扩散模型作为强先验，指导图像和点云跨模态特征学习以形成稳健对应，从而显著提升配准效果。大量实验结果表明，Diff$^2I2P在7-Scenes基准上 consistently 超越了SoTA I2P配准方法，在注册召回率上提升超过7%。
关键词
引用
@article{arxiv.2507.06651,
title = {Diff$^2$I2P: Differentiable Image-to-Point Cloud Registration with Diffusion Prior},
author = {Juncheng Mu and Chengwei Ren and Weixiang Zhang and Liang Pan and Xiao-Ping Zhang and Yue Gao},
journal= {arXiv preprint arXiv:2507.06651},
year = {2025}
}
备注
ICCV 2025