使用内部GAN的盲超分辨率核估计
计算机视觉与模式识别
2020-01-08 v6
摘要
超分辨率（SR）方法通常假设低分辨率（LR）图像是由未知高分辨率（HR）图像通过固定的“理想”下采样核（例如双三次下采样）降采样得到。然而，与合成生成的SR数据集相反，真实LR图像很少如此。当假设的下采样核偏离真实核时，SR方法的性能会显著恶化。这催生了盲SR——即下采样核（“SR核”）未知时的SR。进一步研究表明，真实的SR核是使LR图像跨尺度块重复出现最大化的那个核。本文展示了如何利用深度内部学习实现这一强大的跨尺度重复性质。我们引入了“KernelGAN”，一种图像特定的内部GAN（Internal-GAN），它在测试时仅在LR测试图像上训练，并学习其块的内部分布。其生成器被训练来产生LR测试图像的下采样版本，使其判别器无法区分下采样图像的块分布与原始LR图像的块分布。一旦训练完成，生成器即构成具有正确图像特定SR核的下采样操作。KernelGAN完全无监督，除输入图像本身外不需要任何训练数据，并且在接入现有SR算法时取得了盲SR的state-of-the-art结果。
引用
@article{arxiv.1909.06581,
title = {Blind Super-Resolution Kernel Estimation using an Internal-GAN},
author = {Sefi Bell-Kligler and Assaf Shocher and Michal Irani},
journal= {arXiv preprint arXiv:1909.06581},
year = {2020}
}