面向连续尺度超分辨率的尺度感知动态网络
计算机视觉与模式识别
2021-11-01 v1
摘要
得益于深度学习技术的发展，具有固定离散尺度因子的单图像超分辨率（SR）已取得巨大进展。然而，旨在使用单一模型处理任意（整数或非整数）尺度因子的连续尺度 SR 仍是一项具有挑战性的任务。现有 SR 模型普遍采用静态卷积提取特征，因而无法有效感知尺度因子的变化，导致在多尺度 SR 任务上泛化性能有限。此外，现有连续尺度上采样模块未充分利用多尺度特征，并面临 SR 结果中棋盘伪影及高计算复杂度等问题。为解决上述问题，我们提出一种用于连续尺度 SR 的尺度感知动态网络（SADN）。首先，我们提出尺度感知动态卷积（SAD-Conv）层，用于多种不同尺度 SR 任务的特征学习。SAD-Conv 层可基于尺度因子自适应调整多个卷积核的注意力权重，以可忽略的额外计算成本增强模型表达能力。其次，我们设计了一种带有多双线性局部隐函数（MBLIF）的连续尺度上采样模块（CSUM），用于任意尺度上采样。CSUM 构建尺度渐增的多个特征空间以逼近图像的连续特征表示，随后 MBLIF 充分利用多尺度特征将任意坐标映射到高分辨率空间中的 RGB 值。我们在多种基准上评估了 SADN。实验结果表明，CSUM 可替代先前的固定尺度上采样层，在保持性能的同时获得连续尺度 SR 网络。我们的 SADN 参数量远少，且优于当前最优 SR 方法。
引用
@article{arxiv.2110.15655,
title = {Scale-Aware Dynamic Network for Continuous-Scale Super-Resolution},
author = {Hanlin Wu and Ning Ni and Libao Zhang},
journal= {arXiv preprint arXiv:2110.15655},
year = {2021}
}