SRTransGAN：基于 Transformer 的生成对抗网络图像超分辨率
图像与视频处理
2023-12-05 v1 计算机视觉与模式识别
摘要
图像超分辨率旨在从低分辨率图像合成高分辨率图像。这是一个活跃的研究领域，旨在克服低分辨率目标识别、医学图像增强等多种应用中的分辨率限制。基于生成对抗网络（Generative Adversarial Network, GAN）的方法利用基于卷积神经网络（Convolutional Neural Network, CNN）的生成器和判别器网络，一直是图像超分辨率的最新技术。然而，与 Transformer 相比，CNN 无法非常有效地利用全局信息，而 Transformer 通过利用自注意力机制成为深度学习领域的最新突破。受 Transformer 在语言和视觉应用中取得成功的启发，我们提出了一种基于 Transformer 的 GAN——SRTransGAN，用于图像超分辨率。具体而言，我们提出了一种新颖的基于 Transformer 的编码器-解码器网络作为生成器，用于生成 2 倍和 4 倍放大图像。我们使用视觉 Transformer 设计了判别器网络，该网络将图像视为 patch 序列，从而有助于对合成的高分辨率图像和真实高分辨率图像进行二分类。所提出的 SRTransGAN 在 PSNR 和 SSIM 分数的平均值上比现有方法高出 4.38%。我们还分析了显著性图以了解所提出方法的学习能力。
引用
@article{arxiv.2312.01999,
title = {SRTransGAN: Image Super-Resolution using Transformer based Generative Adversarial Network},
author = {Neeraj Baghel and Shiv Ram Dubey and Satish Kumar Singh},
journal= {arXiv preprint arXiv:2312.01999},
year = {2023}
}