使用生成对抗网络的照片级真实感单图像超分辨率
计算机视觉与模式识别
2017-05-26 v5 机器学习
摘要
尽管使用更快更深的卷积神经网络在单图像超分辨率的准确率和速度上取得了突破，但一个核心问题在很大程度上仍未解决：当以大放大倍数进行超分辨率重建时，如何恢复更精细的纹理细节？基于优化的超分辨率方法的行为主要由目标函数的选择所驱动。最近的工作主要集中在最小化均方重建误差。所得估计值具有高峰值信噪比，但它们通常缺乏高频细节，并且在感知上令人不满意，因为它们未能匹配更高分辨率下预期的保真度。在本文中，我们提出了 SRGAN，一种用于图像超分辨率 (SR) 的生成对抗网络 (GAN)。据我们所知，它是第一个能够为 4 倍放大倍数推断照片级真实感自然图像的框架。为了实现这一点，我们提出了一种由对抗损失和内容损失组成的感知损失函数。对抗损失通过一个判别器网络将我们的解推向自然图像流形，该网络被训练以区分超分辨率图像和原始照片级真实感图像。此外，我们使用由感知相似性而非像素空间相似性驱动的内容损失。我们的深度残差网络能够在公开基准测试中从严重下采样的图像中恢复照片级真实感纹理。广泛的平均意见分 (MOS) 测试表明，使用 SRGAN 在感知质量上获得了极其显著的提升。使用 SRGAN 获得的 MOS 分数比使用任何 state-of-the-art 方法获得的分数更接近原始高分辨率图像的分数。
引用
@article{arxiv.1609.04802,
title = {Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network},
author = {Christian Ledig and Lucas Theis and Ferenc Huszar and Jose Caballero and Andrew Cunningham and Alejandro Acosta and Andrew Aitken and Alykhan Tejani and Johannes Totz and Zehan Wang and Wenzhe Shi},
journal= {arXiv preprint arXiv:1609.04802},
year = {2017}
}
备注
19 pages, 15 figures, 2 tables, accepted for oral presentation at CVPR, main paper + some supplementary material