用于真实世界超分辨率的频率分离

Manuel Fritsche; Shuhang Gu; Radu Timofte

用于真实世界超分辨率的频率分离

图像与视频处理 2019-11-20 v1 计算机视觉与模式识别

作者: Manuel Fritsche , Shuhang Gu , Radu Timofte

摘要

近期关于图像超分辨率（SR）的文献大多假设以配对的低分辨率（LR）与高分辨率（HR）图像形式提供训练数据，或已知下采样算子（通常为双三次下采样）。尽管所提方法在标准基准上表现良好，它们在真实世界场景中常无法产生令人信服的结果。这是因为真实世界图像可能受到传感器噪声等损坏，而双三次下采样会严重改变这些损坏。因此，模型在训练时从未见到真实世界图像，这限制了其泛化能力。此外，在同一源域中收集配对LR与HR图像十分繁琐。为解决该问题，我们提出DSGAN，以在双三次下采样图像中引入自然图像特性。它可在HR图像上以无监督方式训练，从而生成与原始图像具有相同特性的LR图像。我们随后使用生成的数据训练SR模型，极大提升了其在真实世界图像上的性能。此外，我们提出分离图像低频与高频，并在训练中对二者区别对待。由于下采样操作保留了低频，我们仅需对抗训练来修改高频。该思路应用于我们的DSGAN模型以及SR模型。我们通过定量与定性分析在多个实验中证明了方法的有效性。我们的方案是ICCV 2019上AIM真实世界超分辨率挑战赛的冠军。

关键词

超分辨率真实世界频率分离 DSGAN 无监督学习传感器噪声

引用

@article{arxiv.1911.07850,
  title  = {Frequency Separation for Real-World Super-Resolution},
  author = {Manuel Fritsche and Shuhang Gu and Radu Timofte},
  journal= {arXiv preprint arXiv:1911.07850},
  year   = {2019}
}

备注

winner of AIM 2019 Real World Super-Resolution challenge, paper published in ICCV 2019 Workshops

用于真实世界超分辨率的频率分离

摘要

关键词

引用

备注

相关论文