SaliencyI2PLoc：使用对比学习的显著性引导图像-点云定位
计算机视觉与模式识别
2024-12-23 v1 机器学习
机器人学
摘要
图像到点云的全局定位对于 GNSS 拒止环境中的机器人导航至关重要，并且对于多机器人地图融合和城市资产管理变得越来越重要。图像与点云之间的模态差异给跨模态融合带来了重大挑战。当前的跨模态全局定位解决方案要么需要模态统一（这会导致信息丢失），要么依赖于工程化的训练方案来编码多模态特征（这通常缺乏特征对齐和关系一致性）。为了解决这些局限性，我们提出了 SaliencyI2PLoc，一种基于对比学习的新颖架构，该架构将显著性图融合到特征聚合中，并在多流形空间上保持特征关系一致性。为了减轻数据挖掘的预处理过程，我们应用了对比学习框架，该框架有效地实现了跨模态特征映射。设计了上下文显著性引导的局部特征聚合模块，该模块充分利用场景中静止信息的贡献，生成更具代表性的全局特征。此外，为了增强对比学习过程中的跨模态特征对齐，还考虑了不同流形空间中样本之间相对关系的一致性。在城市和高速公路场景数据集上进行的实验证明了我们方法的有效性和鲁棒性。具体而言，我们的方法在城市场景评估数据集上实现了 78.92% 的 Recall@1 和 97.59% 的 Recall@20，与基线方法相比分别提升了 37.35% 和 18.07%。这表明我们的架构有效地融合了图像和点云，代表了跨模态全局定位向前迈出的重要一步。项目页面和代码将发布。
引用
@article{arxiv.2412.15577,
title = {SaliencyI2PLoc: saliency-guided image-point cloud localization using contrastive learning},
author = {Yuhao Li and Jianping Li and Zhen Dong and Yuan Wang and Bisheng Yang},
journal= {arXiv preprint arXiv:2412.15577},
year = {2024}
}
备注
Under Review