基于对比学习的跨模态信息引导网络用于点云配准
计算机视觉与模式识别
2023-11-03 v1 人工智能
摘要
当前大多数点云配准方法依赖于从点中提取特征。然而，这些方法受限于对单模态点信息的依赖，可能导致全局特征感知不足和缺乏纹理信息等缺陷。实际上，人类可以利用从2D图像中学到的视觉信息来理解3D世界。基于这一事实，我们提出了一种新颖的跨模态信息引导网络（CMIGNet），其通过跨模态信息获得全局形状感知，以实现精确且鲁棒的点云配准。具体而言，我们首先将点云投影得到的图像纳入进来，并利用注意力机制融合跨模态特征。此外，我们采用两种对比学习策略，即重叠对比学习与跨模态对比学习。前者关注重叠区域中的特征，而后者强调2D与3D特征之间的对应关系。最后，我们提出一个掩码预测模块来识别点云中的关键点。在多个基准数据集上的大量实验表明，我们的网络取得了优越的配准性能。
引用
@article{arxiv.2311.01202,
title = {Cross-Modal Information-Guided Network using Contrastive Learning for Point Cloud Registration},
author = {Yifan Xie and Jihua Zhu and Shiqi Li and Pengcheng Shi},
journal= {arXiv preprint arXiv:2311.01202},
year = {2023}
}
备注
8 pages, accepted by RAL 2023