PRFusion：面向有效且鲁棒的多模态地点识别中的图像与点云融合
计算机视觉与模式识别
2024-10-08 v1
摘要
地点识别在机器人和计算机视觉领域发挥着关键作用，广泛应用于自动驾驶、制图和定位等场景。地点识别通过查询传感器数据和已知数据库来确定地点位置。一个主要挑战是开发能够提供准确结果且对环境变化具有鲁棒性的模型。我们提出两种多模态地点识别模型，即 PRFusion 和 PRFusion++。PRFusion 采用全局融合结合流形度量注意力，实现了特征之间的有效交互，无需相机-LiDAR 外参标定。相比之下，PRFusion++ 假设存在外参标定，并利用像素-点对应关系在局部窗口上增强特征学习。此外，两种模型都集成了神经扩散层，使其即使在恶劣环境下也能可靠运行。我们在三个大规模基准数据集上验证了两种模型的前沿性能。值得注意的是，它们在挑战性的 Boreas 数据集上以 +3.0 AR@1 的显著优势超越了现有模型。此外，我们进行了消融研究，以验证我们提出方法的有效性。代码已公开：https://github.com/sijieaaa/PRFusion
引用
@article{arxiv.2410.04939,
title = {PRFusion: Toward Effective and Robust Multi-Modal Place Recognition with Image and Point Cloud Fusion},
author = {Sijie Wang and Qiyu Kang and Rui She and Kai Zhao and Yang Song and Wee Peng Tay},
journal= {arXiv preprint arXiv:2410.04939},
year = {2024}
}
备注
accepted by IEEE TITS 2024