用于盲图像超分辨率的深度学习技术:高倍率多领域视角评估
图像与视频处理
2023-06-19 v1 计算机视觉与模式识别
机器学习
摘要
尽管近期针对图像超分辨率(SR)已提出若干解决方案和实验,并受深度学习(DL)技术推动,但它们通常未设计高放大倍率的评估,仅限于2倍或4倍。此外,数据集一般为基准集,并未真正涵盖显著的领域多样性以恰当评估这些技术。同样值得注意的是,盲SR对真实场景颇具吸引力,因其基于退化过程未知的理念,因此该语境下的技术基本依赖于低分辨率(LR)图像。在本文中,我们提出了一项高倍率(8倍)受控实验,评估了五种面向盲图像SR的近期DL技术:自适应伪增强(APA)、具有空间变化退化的盲图像SR(BlindSR)、深度交替网络(DAN)、FastGAN和混合专家超分辨率(MoESR)。我们考虑了来自五个更广泛领域的14个小数据集:航空、动物、植物、医学和卫星。我们评估的另一区别特征在于,部分DL方法为单图像SR设计,而其他则不是。我们选取了两个无参考指标,即经典的自然图像质量评估器(NIQE)和近期基于Transformer的多维注意力网络无参考图像质量评估(MANIQA)分数,以评估这些技术。总体而言,MoESR可视为最佳方案,尽管所有技术生成的高分辨率图像的感知质量仍有待提升。支持代码:https://github.com/vsantjr/DL_BlindSR。数据集:https://www.kaggle.com/datasets/valdivinosantiago/dl-blindsr-datasets。
引用
@article{arxiv.2306.09426,
title = {Deep learning techniques for blind image super-resolution: A high-scale multi-domain perspective evaluation},
author = {Valdivino Alexandre de Santiago Júnior},
journal= {arXiv preprint arXiv:2306.09426},
year = {2023}
}
备注
21 pages