Hg-I2P: 基于异构图的通用图像到点云配准
计算机视觉与模式识别
2026-03-31 v1
摘要
图像到点云（I2P）配准旨在通过建立可靠的 2D-3D 对应关系来对齐 2D 图像和 3D 点云。图像与点云之间的巨大模态差距导致难以学习既具判别力又具通用性的特征，从而在不可见场景中引发严重性能下降。为解决这一挑战，我们引入一种异构图，该图在统一的架构中实现了交叉模态特征和对应关系的细化。该图代表了分段后的 2D 与 3D 区域之间的映射，增强了跨模态特征交互，从而提高了特征的判别性。此外，对图中顶点和边的一致性建模可实现对不可靠对应关系的剔除。基于这些思想，我们提出了一种基于异构图嵌入的 I2P 配准方法，称为 Hg-I2P。它通过挖掘多路径特征关系来学习异构图，依据异构边来适应特征，并利用基于图的投影一致性来修剪对应关系。在跨域设置下的六个室内外基准测试实验表明，Hg-I2P 在通用性和准确性方面均显著优于现有方法。代码已发布于 https://github.com/anpei96/hg-i2p-demo。
引用
@article{arxiv.2603.27969,
title = {Hg-I2P: Bridging Modalities for Generalizable Image-to-Point-Cloud Registration via Heterogeneous Graphs},
author = {Pei An and Junfeng Ding and Jiaqi Yang and Yulong Wang and Jie Ma and Liangliang Nan},
journal= {arXiv preprint arXiv:2603.27969},
year = {2026}
}
备注
Accepted to CVPR 2026