用于高效超分辨率的残差局部特征网络
计算机视觉与模式识别
2022-05-17 v1
摘要
基于深度学习的方法在单图像超分辨率（SISR）中取得了优异性能。然而，近期高效超分辨率的研究侧重于减少参数量与FLOPs，并通过复杂的层连接策略改善特征利用来聚合更强大的特征。这些结构对于实现更高的运行速度可能并非必要，导致难以部署到资源受限设备。本文提出一种新颖的残差局部特征网络（RLFN）。其核心思想是使用三个卷积层进行残差局部特征学习以简化特征聚合，在模型性能与推理时间之间取得良好权衡。此外，我们重新审视了常用的对比损失，观察到其特征提取器中间特征的选择对性能有很大影响。我们还提出了一种新颖的多阶段热启动训练策略。在每个阶段，利用前一阶段的预训练权重来提升模型性能。结合改进的对比损失与训练策略，所提RLFN在保持SR的PSNR与SSIM的同时，在运行时间上优于所有最先进的高效图像超分辨率模型。此外，我们在NTIRE 2022高效超分辨率挑战赛的运行时赛道中获得第一名。代码将发布于 https://github.com/fyan111/RLFN。
引用
@article{arxiv.2205.07514,
title = {Residual Local Feature Network for Efficient Super-Resolution},
author = {Fangyuan Kong and Mingxi Li and Songwei Liu and Ding Liu and Jingwen He and Yang Bai and Fangmin Chen and Lean Fu},
journal= {arXiv preprint arXiv:2205.07514},
year = {2022}
}