语义特征判别在感知图像超分辨率及无监督图像质量评估中的探索
摘要
生成对抗网络（GANs）已被广泛应用于图像超分辨率（SR）以提高感知质量。然而，大多数现有的 GAN-based SR 方法通常直接对图像进行粗粒度判别，忽略了图像的语义信息，这使得超分辨率网络（SRN）难以学习细粒度和与语义相关的纹理细节。为缓解此问题，我们提出了一种语义特征判别方法（SFD），用于感知 SR。具体而言，我们首先设计一种特征判别器（Feat-D），用于判别来自 CLIP 的像素级中间语义特征，将 SR 图像的特征分布与高质量图像的特征分布对齐。此外，我们提出一种文本引导判别方法（TG-D），通过引入可学习的成对提示（LPP）以对抗性方式对更抽象的 CLIP 输出特征进行判别，从而进一步增强我们方法的判别能力。凭借 Feat-D 和 TG-D，我们的 SFD 可以有效区分低质量和高质量图像的语义特征分布，鼓励 SRN 生成更真实且与语义相关的纹理。 Furthermore, based on the trained Feat-D and LPP, we propose a novel opinion-unaware no-reference image quality assessment (OU NR-IQA) method, SFD-IQA, greatly improving OU NR-IQA performance without any additional targeted training. Extensive experiments on classical SISR, real-world SISR, and OU NR-IQA tasks demonstrate the effectiveness of our proposed methods.
引用
@article{arxiv.2503.19295,
title = {Exploring Semantic Feature Discrimination for Perceptual Image Super-Resolution and Opinion-Unaware No-Reference Image Quality Assessment},
author = {Guanglu Dong and Xiangyu Liao and Mingyang Li and Guihuan Guo and Chao Ren},
journal= {arXiv preprint arXiv:2503.19295},
year = {2025}
}
备注
Accepted to CVPR2025