FSCM：用于红外高光谱图像着色的频率增强空-谱耦合 Mamba
计算机视觉与模式识别
2026-05-18 v1 人工智能
摘要
热红外成像对照明变化和烟雾干扰具有鲁棒性，使其对于全天候感知至关重要。然而，缺乏自然色彩和精细纹理限制了目标识别、人类视觉解释以及可见光模型的迁移。现有的红外着色方法主要依赖于单波段图像，其中不足的光谱线索可能导致结构失真和语义混淆。尽管红外高光谱图像提供了丰富的光谱响应和材料信息，但现有的单波段框架在建模空-谱耦合和弱纹理细节方面仍然有限。为了解决这些问题，本文提出了 FSCM，一个光谱信息引导的 GAN 框架。在 FSCM 内部，构建了一个由级联 FSB 单元组成的频率增强空-谱状态空间生成器。每个 FSB 集成了三个互补组件：状态空间建模捕获全局空-谱依赖关系；频率增强模块（FEM）结合多级小波分解和傅里叶门控来恢复结构轮廓、定向高频细节和全局频率响应；双流混合门控模块（DGM）将变形感知采样与稀疏注意力相结合，以增强有效的局部结构并抑制背景干扰。此外，引入了一种在线语义分割引导损失来约束生成结果，提高了复杂道路场景中的语义一致性。实验表明，FSCM 在视觉质量和语义保真度方面优于现有的红外着色方法。
引用
@article{arxiv.2605.15880,
title = {FSCM: Frequency-Enhanced Spatial-Spectral Coupled Mamba for Infrared Hyperspectral Image Colorization},
author = {Tingting Liu and Yuan Liu and Guiping Chen and Xiubao Sui and Qian Chen},
journal= {arXiv preprint arXiv:2605.15880},
year = {2026}
}