RepSR:用结构重参数化与批归一化训练高效的 VGG 风格超分辨率网络
计算机视觉与模式识别
2022-05-12 v1 机器学习
图像与视频处理
摘要
本文探索用结构重参数化技术训练高效的 VGG 风格超分辨率(SR)网络。重参数化的一般流程是先用多分支拓扑训练网络,再将其合并为标准 3x3 卷积以高效推理。本工作中,我们重审那些基础设计并研究重参数化 SR 网络的关键组件。首先,我们发现批归一化(BN)对带来训练非线性和提升最终性能很重要。然而,BN 在 SR 中通常被忽略,因为它常降低性能并引入令人不快的伪影。我们仔细分析 BN 问题的成因,然后提出一个直接而有效的解决方案。具体而言,我们先如常使用小批量统计训练 SR 网络,后在训练后期切换为使用总体统计。在我们成功将 BN 重新引入 SR 后,进一步设计了一个专为 SR 定制的新的可重参数化块,即 RepSR。它由一条干净残差路径和两条带改进 BN 的扩展-压缩卷积路径组成。大量实验表明,我们简单的 RepSR 在不同模型规模下均能取得优于先前 SR 重参数化方法的性能。此外,相较先前 SR 方法,我们的 RepSR 能在性能与实际运行时间(吞吐率)间取得更好权衡。代码将发布于 https://github.com/TencentARC/RepSR。
引用
@article{arxiv.2205.05671,
title = {RepSR: Training Efficient VGG-style Super-Resolution Networks with Structural Re-Parameterization and Batch Normalization},
author = {Xintao Wang and Chao Dong and Ying Shan},
journal= {arXiv preprint arXiv:2205.05671},
year = {2022}
}
备注
Technical Report. Codes will be available at https://github.com/TencentARC/RepSR