用于高效高光谱图像超分辨率的潜编码器耦合生成对抗网络（LE-GAN）
图像与视频处理
2022-10-05 v1 计算机视觉与模式识别
摘要
真实的高光谱图像（HSI）超分辨率（SR）技术旨在从其低分辨率（LR）对应图像生成具有更高光谱和空间保真度的高分辨率（HR）HSI。生成对抗网络（GAN）已被证明是一种有效的图像超分辨率深度学习框架。然而，现有基于 GAN 的模型的优化过程经常遭受模式崩溃问题，导致光谱-空间不变重建能力有限。这可能在生成的 HSI 上引起光谱-空间失真，尤其是在较大放大倍数时。为缓解模式崩溃问题，本工作提出了一种耦合潜编码器的新颖 GAN 模型（LE-GAN），其可将生成的光谱-空间特征从图像空间映射到潜空间，并产生耦合分量以正则化生成的样本。本质上，我们将 HSI 视为嵌入在潜空间中的高维流形。因此，GAN 模型的优化转化为在潜空间中学习高分辨率 HSI 样本分布的问题，使生成的超分辨率 HSI 的分布更接近于其原始高分辨率对应图像的分布。我们对模型的超分辨率性能及其缓解模式崩溃的能力进行了实验评估。所提方法已基于两个具有不同传感器的真实 HSI 数据集（即 AVIRIS 和 UHD-185）针对不同放大倍数和加噪水平进行了测试与验证，并与最先进的超分辨率模型（即 HyCoNet、LTTR、BAGAN、SR-GAN、WGAN）进行了比较。
引用
@article{arxiv.2111.08685,
title = {A Latent Encoder Coupled Generative Adversarial Network (LE-GAN) for Efficient Hyperspectral Image Super-resolution},
author = {Yue Shi and Liangxiu Han and Lianghao Han and Sheng Chang and Tongle Hu and Darren Dancey},
journal= {arXiv preprint arXiv:2111.08685},
year = {2022}
}
备注
18 pages, 10 figures