一种用于多模态遥感分类的空间-光谱-频率交互网络
计算机视觉与模式识别
2026-04-10 v2
摘要
深度学习方法在遥感地球观测数据分析中取得了显著成功。诸多特征融合技术通过整合全局和局部特征来解决多模态遥感图像分类问题。然而，这些技术往往难以从异构和冗余的多模态图像中提取结构和细节特征。为引入频域学习以建模关键稀疏细节特征，本文提出了空间-光谱-频率交互网络（SFin），该网络在空间、光谱和频率域集成了两两融合模块。具体而言，我们提出了一种高频稀疏增强转换网络，采用稀疏空间-光谱注意力来优化高频滤波器的参数。随后，引入两种层次的空间-频率融合策略，包括适应性频率通道模块用于融合低频结构与增强的高频细节，以及高频共振掩码用于通过相位相似性强调锐利边缘。此外，空间-光谱注意力融合模块进一步增强了网络中间层的特征提取。实验在四个具有有限标注数据的基准多模态数据集上表明，SFin在分类任务中表现优越，优于当前最先进的方法。代码可在 https://github.com/HaoLiu-XDU/SSFin 获取。
引用
@article{arxiv.2510.04628,
title = {A Spatial-Spectral-Frequency Interactive Network for Multimodal Remote Sensing Classification},
author = {Hao Liu and Yunhao Gao and Wei Li and Mingyang Zhang and Maoguo Gong and Lorenzo Bruzzone},
journal= {arXiv preprint arXiv:2510.04628},
year = {2026}
}