基于条件目标的灵活风格图像超分辨率
计算机视觉与模式识别
2022-03-09 v3 图像与视频处理
摘要
近期的研究利用卷积神经网络(CNNs)显著提升了单图像超分辨率(SR)的性能。对于给定的输入,可能存在许多高分辨率(HR)解,但大多数现有的基于 CNN 的方法在推理过程中并不探索替代解。获得替代 SR 结果的典型方法是训练多个具有不同损失权重的 SR 模型并利用这些模型的组合。我们提出了一种更高效的方法,利用多任务学习的优势,在各种损失组合上训练单个可调 SR 模型,而非使用多个模型。具体而言,我们在训练时用条件目标优化 SR 模型,该目标是不同特征层级上多个感知损失的加权和。权重根据给定条件变化,权重集合被定义为风格控制器。此外,我们提出了适用于该训练方案的架构,即配备空间特征变换层的残差内残差密集块(Residual-in-Residual Dense Block)。在推理阶段,我们训练好的模型可根据风格控制图生成局部不同的输出。大量实验表明,所提出的 SR 模型能生成多种无伪影的理想重建结果,并在定量性能上与最先进的 SR 方法相当。
引用
@article{arxiv.2201.04898,
title = {Flexible Style Image Super-Resolution using Conditional Objective},
author = {Seung Ho Park and Young Su Moon and Nam Ik Cho},
journal= {arXiv preprint arXiv:2201.04898},
year = {2022}
}
备注
Will be presented in IEEE ACCESS. Code and trained models will be available at https://github.com/seungho-snu/FxSR