一种用于参考超分辨率的带纹理自适应聚合的特征复用框架
计算机视觉与模式识别
2023-06-05 v1
摘要
参考超分辨率(RefSR)因引入高分辨率参考图像以重建含更多高频细节的低分辨率(LR)输入,从而克服单图像超分辨率(SISR)的部分局限,在超分辨率领域取得显著成功。以往 RefSR 研究多聚焦于两个关键方面:其一为 LR 与参考(Ref)图像间的准确对应匹配;其二为从 Ref 图像中相似纹理信息的有效迁移与聚合。然而,感知损失与对抗损失的一个重要细节被低估,对纹理迁移与重建产生一定不利影响。本研究提出一种特征复用框架,通过不同阶段引导逐步纹理重建过程,减轻感知与对抗损失的负面影响。该框架可用于任意 RefSR 模型,若干 RefSR 方法经本框架重训练后性能提升。此外,我们引入单图像特征嵌入模块与纹理自适应聚合模块。单图像特征嵌入模块有助于重建 LR 输入自身特征,并有效降低引入无关纹理的可能性。纹理自适应聚合模块利用动态滤波器动态感知并聚合 LR 输入与 Ref 图像间的纹理信息,在提升参考纹理利用率的同时减少参考误用。源代码见 https://github.com/Yi-Yang355/FRFSR。
引用
@article{arxiv.2306.01500,
title = {A Feature Reuse Framework with Texture-adaptive Aggregation for Reference-based Super-Resolution},
author = {Xiaoyong Mei and Yi Yang and Ming Li and Changqin Huang and Kai Zhang and Pietro Lió},
journal= {arXiv preprint arXiv:2306.01500},
year = {2023}
}