基于深度傅里叶嵌入的 RGB 和热成像显著物体检测网络
计算机视觉与模式识别
2025-11-10 v3
摘要
深度学习的快速发展显著提升了结合 RGB 和热成像(RGB-T)图像的显著物体检测(SOD)效果。然而，现有基于 Transformer 的 RGB-T SOD 模型具有二次时间复杂度，导致在高分辨率双模态特征融合时内存开销巨大。为克服这一限制，我们提出一种纯粹基于傅里叶变换的模型——Deep Fourier-embedded Network(FreqSal)，用于精准 RGB-T SOD。具体而言，我们利用具有线性时间复杂度的快速傅里叶变换(FFT)，设计了三个关键组件：(1) 为融合 RGB 和热成像两种模态，我们提出 Modal-coordinated Perception Attention，以多维度对齐和增强双模态傅里叶表示；(2) 为澄清物体边缘并抑制噪声，我们设计 Frequency-decomposed Edge-aware Block，以深入分解和滤波低层特征的傅里叶分量；(3) 为准确解码特征，我们提出 Fourier Residual Channel Attention Block，优先考虑高频信息并对通道级全局关系进行对齐。此外，当模型收敛时，现有深度学习 SOD 模型的预测结果仍与真实值存在频率差距。为此，我们提出 Co-focus Frequency Loss，通过在傅里叶域中交叉参考双模态边缘信息，动态加权边缘频率重建中的硬频率。广泛的十个双模态 SOD 基准数据集实验表明，FreqSal 超越了二十九个现有最先进的双模态 SOD 模型。综合的消融研究进一步验证了我们新提出组件的价值与有效性。代码已公开于 https://github.com/JoshuaLPF/FreqSal。
引用
@article{arxiv.2411.18409,
title = {Deep Fourier-embedded Network for RGB and Thermal Salient Object Detection},
author = {Pengfei Lyu and Xiaosheng Yu and Pak-Hei Yeung and Chengdong Wu and Jagath C. Rajapakse},
journal= {arXiv preprint arXiv:2411.18409},
year = {2025}
}
备注
Accepted by TCSVT2025