利用频率相关性进行高光谱图像重建
图像与视频处理
2024-06-04 v1 计算机视觉与模式识别
多媒体
摘要
深度先验已成为高光谱图像(HSI)重建中的强大方法。虽然大多数方法强调利用非局部相似性等图像空间先验进行空间域学习,但利用图像频率先验的频域学习仍然被忽视,限制了网络的重建能力。在本文中,我们首先基于对现有HSI数据集深入的统计频率分析,提出了一个高光谱频率相关性(HFC)先验。利用HFC先验,我们随后建立了频域学习,包括分别针对低频和高频分量的频谱自注意力频率(SAF)和频谱-空间频率交互(SIF)。SAF和SIF的输出通过一个可学习的门控滤波器自适应地合并,从而实现了对图像频率先验的充分利用。将频域学习与现有的空间域学习相结合,我们最终开发了用于HSI重建的相关性驱动混合域变换器(CMDT)。大量实验表明,我们的方法在重建质量和计算效率方面优于各种最先进(SOTA)方法。
引用
@article{arxiv.2406.00683,
title = {Exploiting Frequency Correlation for Hyperspectral Image Reconstruction},
author = {Muge Yan and Lizhi Wang and Lin Zhu and Hua Huang},
journal= {arXiv preprint arXiv:2406.00683},
year = {2024}
}
备注
14 pages, 11 figures