关于谱判别器在感知质量提升中有效性的研究
计算机视觉与模式识别
2023-08-17 v2 图像与视频处理
摘要
若干近期研究提倡使用谱判别器，即评估图像傅里叶谱以进行生成建模。然而，谱判别器的有效性尚缺乏充分解释。我们通过在感知图像超分辨率（即基于 GAN 的 SR）背景下考察谱判别器来解决此问题，因为 SR 图像质量易受谱变化影响。我们的分析揭示，谱判别器在识别高频范围差异上确实优于普通（亦称空间）判别器；但空间判别器在低频范围具优势。因此，我们建议谱与空间判别器应同时使用。此外，我们通过先计算块级傅里叶谱再由 Transformer 聚合谱来改进谱判别器。我们从两方面验证了所提方法的有效性。一方面，得益于额外的谱判别器，我们得到的 SR 图像其谱与真实图像对齐更好，从而带来更优的 PD 权衡。另一方面，如盲参考图像质量评估任务所示，我们的集成判别器能更准确地预测感知质量。
引用
@article{arxiv.2307.12027,
title = {On the Effectiveness of Spectral Discriminators for Perceptual Quality Improvement},
author = {Xin Luo and Yunan Zhu and Shunxin Xu and Dong Liu},
journal= {arXiv preprint arXiv:2307.12027},
year = {2023}
}
备注
Accepted to ICCV 2023. Code and Models are publicly available at https://github.com/Luciennnnnnn/DualFormer