基于双重和多镜头观察的自监督实用超分辨率学习
摘要
本文考虑智能手机参考基超分辨率 (RefSR) 中的两个具有挑战性的问题：(i)如何选择合适的参考图像，以及 (ii)如何以自监督方式学习 RefSR。特别地，我们提出了一种用于来自双重和多镜头观察的自监督学习方法，以实现实用 RefSR。首先，考虑到现代智能手机多镜头的普及，较高倍率 (远摄) 图像可自然用作指导超分辨率 (SR) 的较低倍率 (超广角) 图像的参考，从而我们有机会学习一个执行双倍率观察 (DZSR) 的深度网络。其次，对于 DZSR 的自监督学习，我们不采用额外的高分辨率图像作为监督信息，而是选取其中的中心补丁作为参考以超分辨率相应的超广角图像补丁。为缓解训练期间超广角低分辨率 (LR) 补丁与远摄ground-truth (GT) 图像错位的影响，我们首先采用基于补丁的光流对齐，然后设计一个辅助 LR 以引导变形后的 LR 特征。为生成视觉上令人满意的结果，我们提出局部重叠切片 Wasserstein 损失以更好地表示 GT 与输出在特征空间中的感知差异。在测试期间，DZSR 可直接部署到超广角图像的整体超分辨率中，参考远摄图像。此外，我们进一步利用多镜头观察来探索自监督 RefSR，提出分级融合方案以有效利用参考图像。实验表明，我们的方法在定量和定性性能上均优于最先进的技术。代码已公开于 https://github.com/cszhilu1998/SelfDZSR_PlusPlus。
关键词
引用
@article{arxiv.2405.02171,
title = {Self-Supervised Learning for Real-World Super-Resolution from Dual and Multiple Zoomed Observations},
author = {Zhilu Zhang and Ruohao Wang and Hongzhi Zhang and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2405.02171},
year = {2024}
}
备注
Accpted by IEEE TPAMI in 2024. Extended version of ECCV 2022 paper "Self-Supervised Learning for Real-World Super-Resolution from Dual Zoomed Observations" (arXiv:2203.01325)