基于双变焦观测的自监督真实世界超分辨率学习
图像与视频处理
2022-07-21 v2 计算机视觉与模式识别
摘要
本文中，我们考虑基于参考的超分辨率（RefSR）中两个挑战性问题：（i）如何选择合适的参考图像，以及（ii）如何以自监督方式学习真实世界 RefSR。特别地，我们提出一种新颖的自监督学习方法，用于从双相机变焦观测中进行真实世界图像超分辨率（SelfDZSR）。考虑到现代智能手机中多摄像头的普及，更具变焦（长焦）图像可自然用作参考以引导较小变焦（短焦）图像的 SR。此外，SelfDZSR 学习一个深度网络，使短焦图像的 SR 结果具有与长焦图像相同的分辨率。为此，我们取长焦图像而非额外的高分辨率图像作为监督信息，并从中选取中心块作为参考来超分辨对应的短焦图像块。为减轻短焦低分辨率（LR）图像与长焦真值（GT）图像间未对齐的影响，我们设计了一个辅助 LR 生成器，将 GT 映射为辅助 LR 同时保持空间位置不变。随后该辅助 LR 可用于通过所提出的自适应空间变换网络（AdaSTN）变形 LR 特征，并使 Ref 特征与 GT 匹配。测试时，SelfDZSR 可直接部署以利用长焦图像作为参考对整幅短焦图像进行超分辨。实验表明，我们的方法在定量与定性性能上均优于现有 state-of-the-art 方法。代码见 https://github.com/cszhilu1998/SelfDZSR。
引用
@article{arxiv.2203.01325,
title = {Self-Supervised Learning for Real-World Super-Resolution from Dual Zoomed Observations},
author = {Zhilu Zhang and Ruohao Wang and Hongzhi Zhang and Yunjin Chen and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2203.01325},
year = {2022}
}
备注
ECCV 2022 camera ready