高效傅里叶滤波网络结合对比学习用于AAV基非对齐双模态显著目标检测
计算机视觉与模式识别
2025-11-19 v3
摘要
基于自主飞行器(AAV)的双模态显著目标检测(BSOD)旨在利用非对齐RGB和热成像图像对中互补的线索来分割场景中的显著目标。然而，现有AAV基BSOD模型的高计算成本限制了其在实际AAV设备中的应用。为解决这一问题，我们提出了一种高效的傅里叶滤波网络结合对比学习，实现了实时且准确的性能。具体而言，我们首先设计了一种语义对比对齐损失，在语义层面对齐两种模态，以参数无关的方式促进相互精炼。其次，受益于快速傅里叶变换以线性复杂度获取全局相关性的启发，我们提出了同步对齐融合，通过分层滤波机制在通道和空间维度上对齐和融合双模态特征。我们提出的模型AlignSal将参数数量减少了70.0%，将浮点运算减少了49.4%，并将推理速度提高了152.5%，与最先进的BSOD模型（即MROS）相比。大量实验在AAV RGB-T 2400和七个双模态密集预测数据集上进行，证明AlignSal在大多数评估指标上同时实现了实时推理速度和优于十九种最先进模型的性能和泛化能力。此外，我们的消融研究进一步验证了AlignSal在提升现有对齐BSOD模型在AAV基非对齐数据上性能的潜力。代码可在以下地址获取：https://github.com/JoshuaLPF/AlignSal。
引用
@article{arxiv.2411.03728,
title = {Efficient Fourier Filtering Network with Contrastive Learning for AAV-based Unaligned Bimodal Salient Object Detection},
author = {Pengfei Lyu and Pak-Hei Yeung and Xiaosheng Yu and Xiufei Cheng and Chengdong Wu and Jagath C. Rajapakse},
journal= {arXiv preprint arXiv:2411.03728},
year = {2025}
}
备注
Accepted by TGRS 2025