在真实世界超分辨率中利用风格与注意力
计算机视觉与模式识别
2020-10-13 v2 图像与视频处理
摘要
真实世界图像超分辨率（SR）是一个具有挑战性的图像翻译问题。低分辨率（LR）图像通常由各种未知变换生成，而非对高分辨率（HR）图像施加简单的双线性下采样。为解决此问题，本文提出一种在真实世界 SR 中利用风格与注意力机制的新流程。我们的流程由一个风格变分自编码器（styleVAE）和一个结合了注意力机制的 SR 网络组成。为获得与 HR 图像配对的真实世界风格低质量图像，我们设计 styleVAE 将真实世界 LR 图像中的复杂干扰因素迁移到生成的 LR 图像中。我们还使用互信息估计（MI）以获取更好的风格信息。对于我们的 SR 网络，我们首先提出一个全局注意力残差块以学习图像中的长程依赖；随后提出另一个局部注意力残差块，以迫使 SR 网络的注意力转移到图像中待填充纹理细节的局部区域。值得注意的是，styleVAE 可以即插即用的方式呈现，从而有助于提升我们的 SR 方法以及其他 SR 方法的泛化性与鲁棒性。大量实验表明，我们的方法在定量与定性上均超越了当前最优（SOTA）工作。
引用
@article{arxiv.1912.10227,
title = {Exploiting Style and Attention in Real-World Super-Resolution},
author = {Xin Ma and Yi Li and Huaibo Huang and Mandi Luo and Ran He},
journal= {arXiv preprint arXiv:1912.10227},
year = {2020}
}