用于高光谱图像去马赛克的 MSFA 频率感知 Transformer
图像与视频处理
2023-03-24 v1 计算机视觉与模式识别
摘要
使用多光谱滤光片阵列（MSFA）的高光谱成像系统在每像素仅捕获一个光谱分量。高光谱去马赛克用于恢复未测量的分量。尽管深度学习方法在该领域已展现出前景，它们仍面临若干挑战，包括对非局部依赖建模有限、未考虑可能与周期性伪影相关的周期性 MSFA 模式，以及难以恢复高频细节。为应对这些挑战，本文提出一种新颖的去马赛克框架，即 MSFA 频率感知 Transformer 网络（FDM-Net）。FDM-Net 集成了新颖的 MSFA 频率感知多头自注意力机制（MaFormer）与基于滤波的傅里叶零填充方法，分别以更大难度重建高通分量和以相对容易方式重建低通分量。MaFormer 的优势在于它能够利用数据中存在的 MSFA 信息与非局部依赖。此外，我们引入联合空间与频率损失以传递 MSFA 信息并增强对难以恢复的频率分量的训练。实验结果表明，FDM-Net 以 6dB PSNR 优于最先进方法，并成功重建高保真细节。
引用
@article{arxiv.2303.13404,
title = {MSFA-Frequency-Aware Transformer for Hyperspectral Images Demosaicing},
author = {Haijin Zeng and Kai Feng and Shaoguang Huang and Jiezhang Cao and Yongyong Chen and Hongyan Zhang and Hiep Luong and Wilfried Philips},
journal= {arXiv preprint arXiv:2303.13404},
year = {2023}
}