TWIST-GAN：面向小波变换与迁移 GAN 的时空单图像超分辨率
图像与视频处理
2022-02-01 v1 计算机视觉与模式识别
摘要
单图像超分辨率（SISR）从低空间分辨率的遥感图像生成具有精细空间分辨率的高分辨率图像。近来，深度学习和生成对抗网络（GANs）在极具挑战性的单图像超分辨率（SISR）任务上取得了突破。然而，生成的图像仍受限于不良伪影，例如缺乏纹理特征表示与高频信息。我们提出一种基于频域的时空遥感单图像超分辨率技术，结合生成对抗网络（GANs）于多个频带以重建高分辨率图像（TWIST-GAN）。我们引入了一种融合小波变换（WT）特性与迁移生成对抗网络的新方法。低分辨率图像经 WT 拆分为多个频带，而迁移生成对抗网络通过所提架构预测高频分量。最后，小波逆变换生成超分辨率重建图像。该模型先在外部 DIV2K 数据集上训练，并在 UC Merced Landsat 遥感数据集与 Set14（每幅图像尺寸 256x256）上验证。此后，使用迁移 GAN 处理时空遥感图像，以减小计算成本差异并改善纹理信息。结果从定性与定量上与当前最优方法进行比较。此外，我们通过移除批归一化层，在训练期间节省了约 43% 的 GPU 内存，并加速了简化版的执行。
引用
@article{arxiv.2104.10268,
title = {TWIST-GAN: Towards Wavelet Transform and Transferred GAN for Spatio-Temporal Single Image Super Resolution},
author = {Fayaz Ali Dharejo and Farah Deeba and Yuanchun Zhou and Bhagwan Das and Munsif Ali Jatoi and Muhammad Zawish and Yi Du and Xuezhi Wang},
journal= {arXiv preprint arXiv:2104.10268},
year = {2022}
}
备注
Accepted: ACM TIST (10-03-2021)