用于不明晰几何点云配准的跨模态特征融合
计算机视觉与模式识别
2025-06-09 v1 机器学习
摘要
点云配准通过深度学习技术取得了显著进展。然而，现有方法常常忽视了整合RGB图像辐射信息的潜在价值。这一局限性降低了在几何数据alone不足以明确的区域内对齐点云对的效果。当有效利用时，辐射信息可以通过提供纯几何数据缺失的上下文来增强配准过程。在本文中，我们提出了一种新的跨模态特征融合方法CoFF，用于成对的点云配准。假设点云与RGB图像的共配准可用，CoFF 通过两阶段融合3D点云特征和2D图像特征，显式地解决几何信息alone不清晰的挑战，特别是对于具有对称性相似性或平面结构的区域。它包含一种将像素级图像特征分配给3D输入点云以增强所学3D点特征的跨模态特征融合模块，并将patch级图像特征与超点特征集成以提高粗匹配质量。这随后是一个从粗到细的匹配模块，用于使用融合特征准确建立对应关系。我们在四个常见数据集上广泛评估了CoFF：3DMatch、3DLoMatch、IndoorLRS 和最近发布的 ScanNet++ 数据集。此外，我们在包含几何歧义case的特定子数据集上评估了CoFF。我们的实验结果表明，CoFF 在所有基准测试中实现了最先进的配准性能，包括在广泛使用的3DMatch 和 3DLoMatch 数据集上分别实现了95.9% 和 81.6% 的显著配准召回率。
引用
@article{arxiv.2505.13088,
title = {Cross-modal feature fusion for robust point cloud registration with ambiguous geometry},
author = {Zhaoyi Wang and Shengyu Huang and Jemil Avers Butt and Yuanzhou Cai and Matej Varga and Andreas Wieser},
journal= {arXiv preprint arXiv:2505.13088},
year = {2025}
}
备注
To appear in the ISPRS Journal of Photogrammetry and Remote Sensing. 19 pages, 14 figures