DeSRA：检测并删除基于 GAN 的真实世界超分辨率模型的伪影
计算机视觉与模式识别
2023-07-06 v1 人工智能
多媒体
摘要
基于生成对抗网络（GAN）的图像超分辨率（SR）在恢复逼真细节方面取得了巨大成功。然而，众所周知，基于 GAN 的 SR 模型将不可避免地产生令人不快且不期望的伪影，尤其是在实际场景中。先前工作通常在训练阶段以额外损失惩罚来抑制伪影。它们仅对训练期间生成的分布内伪影类型有效。当应用于真实世界场景时，我们观察到那些改进方法在推理过程中仍明显产生恼人的伪影。本文中，我们分析了在无真实标签的未见测试数据中产生的 GAN 伪影的成因与特征。随后我们开发了一种新方法，即 DeSRA，以在实践中检测并删除那些 SR 伪影。具体而言，我们提出从 MSE-SR 结果与 GAN-SR 结果度量相对局部方差距离，并基于上述距离与语义感知阈值定位问题区域。在检测到伪影区域后，我们开发了一种微调过程，用少量样本改进基于 GAN 的 SR 模型，使其能处理更多未见真实数据中类似类型的伪影。借助我们的 DeSRA，我们可成功消除推理中的伪影，并提升 SR 模型应用于真实世界场景的能力。代码将发布于 https://github.com/TencentARC/DeSRA。
引用
@article{arxiv.2307.02457,
title = {DeSRA: Detect and Delete the Artifacts of GAN-based Real-World Super-Resolution Models},
author = {Liangbin Xie and Xintao Wang and Xiangyu Chen and Gen Li and Ying Shan and Jiantao Zhou and Chao Dong},
journal= {arXiv preprint arXiv:2307.02457},
year = {2023}
}
备注
The code and models will be made publicly at https://github.com/TencentARC/DeSRA