基于傅里叶注意力的多模态融合SLAM
计算机视觉与模式识别
2025-06-25 v2 人工智能
摘要
视觉SLAM在受噪声、光照变化和黑暗环境影响时尤其具有挑战性。学习型光流算法可利用多种模态来解决这些问题，但传统的基于光流的视觉SLAM方法往往需要显著的计算资源。为克服这一限制，我们提出了FMF-SLAM（一种高效多模态融合SLAM方法），利用快速傅里叶变换（FFT）来增强算法效率。具体而言，我们引入一种新颖的傅里叶自注意力和交叉注意力机制，从RGB和深度信号中提取特征。我们进一步通过在模态之间集成多尺度知识蒸馏来增强多模态特征的相互作用。我们还通过与安全机器人集成，融合全球定位模块GNSS-RTK和全局Bundle Adjustment，展示了FMF-SLAM在实际场景中可行且实时性能。我们的方法使用来自TUM、TartanAir以及自建数据集的视频序列进行验证，展示了在噪声、光照变化和黑暗条件下的领先性能。我们的代码和数据集可在https://github.com/youjie-zhou/FMF-SLAM.git获取。
引用
@article{arxiv.2506.18204,
title = {Multimodal Fusion SLAM with Fourier Attention},
author = {Youjie Zhou and Guofeng Mei and Yiming Wang and Yi Wan and Fabio Poiesi},
journal= {arXiv preprint arXiv:2506.18204},
year = {2025}
}
备注
Accepted in IEEE RAL