PULSE:基于生成模型潜空间探索的自监督照片上采样
计算机视觉与模式识别
2020-07-22 v3 机器学习
图像与视频处理
摘要
单图像超分辨率的主要目标是从相应的低分辨率(LR)输入构建高分辨率(HR)图像。在以往通常为监督的方法中,训练目标通常度量超分辨率(SR)图像与 HR 图像之间的逐像素平均距离。优化此类度量常导致模糊,尤其在高中方差(细节)区域。我们提出了一种基于生成正确下采样的逼真 SR 图像的超分辨率问题的替代公式。我们提出一种解决该问题的算法 PULSE(Photo Upsampling via Latent Space Exploration,基于潜空间探索的照片上采样),它生成了文献中前所未见分辨率的髙分辨率逼真图像。它以完全自监督的方式实现,且不局限于训练期间使用的特定退化算子,不同于以往方法(其需要在 LR-HR 图像对数据库上进行监督训练)。PULSE 不是从 LR 图像出发并缓慢添加细节,而是遍历高分辨率自然图像流形,搜索可下采样至原始 LR 图像的图像。这通过“下采样损失”形式化,该损失引导通过生成模型的潜空间进行探索。通过利用高维高斯的性质,我们限制搜索空间以保证逼真输出。PULSE 由此生成既逼真又正确下采样的超分辨率图像。我们在人脸超分辨率(即人脸幻构)领域展示了我们方法的概念验证。我们还讨论了当前实现方法的局限性与偏差,并附上带有相关度量的模型卡。我们的方法在比以往可能的更高分辨率和缩放因子下,在感知质量上优于最先进的方法。
引用
@article{arxiv.2003.03808,
title = {PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models},
author = {Sachit Menon and Alexandru Damian and Shijia Hu and Nikhil Ravi and Cynthia Rudin},
journal= {arXiv preprint arXiv:2003.03808},
year = {2020}
}
备注
Sachit Menon and Alexandru Damian contributed equally. Computer Vision and Pattern Recognition (CVPR) 2020