面向真实世界相机-屏幕退化的联合生成学习与超分辨率
图像与视频处理
2020-09-15 v3 计算机视觉与模式识别
摘要
在真实世界单图像超分辨率（SISR）任务中，低分辨率图像遭受更为复杂的退化，不仅仅是由未知核下采样所致。然而，现有 SISR 方法通常基于双三次插值（BI）等合成低分辨率生成进行研究，这极大限制了其性能。近来，一些研究者从相机与智能手机的角度考察真实世界 SISR。然而，除采集设备外，显示设备也涉及更复杂的退化。本文关注相机-屏幕退化并构建了一个真实世界数据集（Cam-ScreenSR），其中高分辨率图像来自先前 DIV2K 数据集的原始真值，相应的低分辨率图像为屏幕上显示的 HR 经相机拍摄的版本。我们进行了大量实验，表明引入更多真实退化有助于提升 SISR 模型的泛化能力。此外，我们提出了一种联合两阶段模型。首先，训练下采样退化 GAN（DD-GAN）以建模退化并生成更多样化的 LR 图像，经验证其在数据增强方面高效。随后，双残差通道注意力网络（DuRCAN）学习恢复 SR 图像。采用 L1 损失与所提拉普拉斯损失的加权组合以锐化高频边缘。在典型合成与复杂真实世界退化下的大量实验结果证实，所提方法以更少参数、更快速度及更佳视觉效果优于现有 SOTA 模型。此外，在真实拍摄照片中，我们的模型亦呈现出最佳视觉质量，具有更锐利边缘、更少伪影，尤其是恰当的颜色增强，这是以往方法未能实现的。
引用
@article{arxiv.2008.00195,
title = {Joint Generative Learning and Super-Resolution For Real-World Camera-Screen Degradation},
author = {Guanghao Yin and Shouqian Sun and Chao Li and Xin Min},
journal= {arXiv preprint arXiv:2008.00195},
year = {2020}
}