通过对比自蒸馏实现紧凑单图像超分辨率
计算机视觉与模式识别
2021-05-26 v1
摘要
卷积神经网络(CNNs)在超分辨率(SR)中极为成功,但往往需要复杂架构并带来高昂内存成本与计算开销,严重限制了其在资源受限设备上的实际部署。本文提出一种新颖的对比自蒸馏(CSD)框架,以同时压缩和加速各类现成 SR 模型。具体而言,可首先从目标教师网络构建通道分割的超分辨率网络作为紧凑学生网络。随后,我们提出一种新颖的对比损失,通过显式知识迁移提升 SR 图像质量及 PSNR/SSIM。大量实验表明,所提 CSD 方案有效压缩并加速了 EDSR、RCAN 和 CARN 等若干标准 SR 模型。代码见 https://github.com/Booooooooooo/CSD。
引用
@article{arxiv.2105.11683,
title = {Towards Compact Single Image Super-Resolution via Contrastive Self-distillation},
author = {Yanbo Wang and Shaohui Lin and Yanyun Qu and Haiyan Wu and Zhizhong Zhang and Yuan Xie and Angela Yao},
journal= {arXiv preprint arXiv:2105.11683},
year = {2021}
}
备注
Accepted by IJCAI-21