面向非配对真实世界图像超分辨率与降采样的多对多映射学习
计算机视觉与模式识别
2024-09-30 v1 图像与视频处理
摘要
基于学习的真实世界图像单图超分辨率(SISR)由于缺乏配对的低分辨率(LR)与高分辨率(HR)训练图像,一直是一个活跃的研究课题且颇具挑战性。现有大多数无监督真实世界SISR方法采用两阶段训练策略:首先从HR图像合成逼真的LR图像,再以监督方式训练超分辨率(SR)模型。然而,该策略中图像退化与SR模型的训练是相互分离的,忽略了降采样与其逆上采样过程之间固有的相互依赖关系。此外,图像退化的不适定本质未得到充分考虑。本文提出一种称为SDFlow的图像降采样与SR模型,无监督地同时学习真实世界LR与HR图像之间的双向多对多映射。SDFlow的核心思想是在潜空间解耦图像内容与退化信息,其中LR与HR图像的内容信息分布在公共潜空间中匹配;LR图像的退化信息与HR图像的高频信息被拟合为易于采样的条件分布。在真实世界图像SR数据集上的实验结果表明,SDFlow在定量与定性上均能生成多样的逼真LR与SR图像。
引用
@article{arxiv.2310.04964,
title = {Learning Many-to-Many Mapping for Unpaired Real-World Image Super-resolution and Downscaling},
author = {Wanjie Sun and Zhenzhong Chen},
journal= {arXiv preprint arXiv:2310.04964},
year = {2024}
}