SeD：用于图像超分辨率的语义感知判别器

生成对抗网络（GANs）已广泛应用于图像超分辨率（SR）任务中以恢复生动的纹理。特别是，利用一个判别器使 SR 网络以对抗训练的方式学习真实世界高质量图像的分布。然而，这种分布学习过于粗粒度，容易受到虚拟纹理的影响并导致违反直觉的生成结果。为缓解这一问题，我们提出了简单有效的语义感知判别器（记为 SeD），它通过引入图像语义作为条件，鼓励 SR 网络学习细粒度分布。具体而言，我们旨在从训练有素的语义提取器中挖掘图像语义。在不同的语义下，判别器能够单独且自适应地区分真实图像和伪造图像，从而引导 SR 网络学习更细粒度的语义感知纹理。为了获得准确且丰富的语义，我们充分利用了近期流行的预训练视觉模型（PVMs）及其海量数据集，并通过精心设计的空间交叉注意力模块将其语义特征融入判别器。通过这种方式，我们提出的语义感知判别器赋能 SR 网络生成更照片级真实且令人愉悦的图像。在 SR 和 Real SR 两个典型任务上的大量实验证明了我们所提方法的有效性。