面向真实世界图像超分辨率的频率感知物理启发退化模型
图像与视频处理
2022-02-14 v2 计算机视觉与模式识别
摘要
当前基于学习的单图像超分辨率(SISR)算法在真实数据上表现不佳,原因在于其所假设的退化过程与真实场景中的退化过程存在偏差。传统的退化过程通过对高分辨率(HR)图像施加模糊、噪声和下采样(通常为双三次下采样)来合成低分辨率(LR)图像。然而,极少有退化建模工作考虑到光学成像系统的物理特性。本文从光学角度分析了成像系统,并利用真实世界LR-HR图像对在空间频域中的特性。我们通过同时考虑光学与传感器退化,构建了一个真实世界物理启发的退化模型;成像系统的物理退化被建模为低通滤波器,其截止频率由物距、镜头焦距和图像传感器像素尺寸决定。特别地,我们提出使用卷积神经网络(CNN)来学习真实世界退化过程的截止频率。随后将该学习到的网络用于从非配对的HR图像合成LR图像。所合成的HR-LR图像对随后用于训练一个SISR网络。我们在不同成像系统捕获的真实世界图像上评估了所提退化模型的有效性与泛化能力。实验结果表明,使用我们合成数据训练的SISR网络优于使用传统退化模型训练的网络。此外,我们的结果与使用真实世界LR-HR图像对(在真实场景中难以获取)训练的相同网络所得结果相当。
引用
@article{arxiv.2111.03301,
title = {Frequency-Aware Physics-Inspired Degradation Model for Real-World Image Super-Resolution},
author = {Zhenxing Dong and Hong Cao and Wang Shen and Yu Gan and Yuye Ling and Guangtao Zhai and Yikai Su},
journal= {arXiv preprint arXiv:2111.03301},
year = {2022}
}
备注
22 pages,12 figures