DIPNet：面向图像超分辨率的高效蒸馏与迭代剪枝
计算机视觉与模式识别
2023-04-17 v1 机器学习
图像与视频处理
摘要
高效的基于深度学习的方法在单图像超分辨率中取得了显著性能。然而，近期关于高效超分辨率的研究主要集中于通过各种网络设计减少参数数量和浮点运算。尽管这些方法能降低参数数量和浮点运算，却未必能减少实际运行时间。为解决此问题，我们提出了一种新颖的多阶段轻量网络提升方法，可使轻量网络达到优异性能。具体而言，我们利用增强的高分辨率输出作为额外监督以提升轻量学生网络的学习能力。在学生网络收敛后，我们通过重参数化技术和迭代网络剪枝将网络结构进一步简化至更轻量级。同时，我们采用结合多锚点蒸馏与渐进学习的有效轻量网络训练策略，使轻量网络取得出色性能。最终，我们提出的方法在 NTIRE 2023 高效超分辨率挑战赛中所有参与者里实现了最快推理时间，同时保持具竞争力的超分辨率性能。此外，我们进行了大量实验以证明所提组件的有效性。结果表明，我们的方法在代表性数据集 DIV2K 上以更快推理和更少网络参数数量，在定性与定量上均取得了可比性能。
引用
@article{arxiv.2304.07018,
title = {DIPNet: Efficiency Distillation and Iterative Pruning for Image Super-Resolution},
author = {Lei Yu and Xinpeng Li and Youwei Li and Ting Jiang and Qi Wu and Haoqiang Fan and Shuaicheng Liu},
journal= {arXiv preprint arXiv:2304.07018},
year = {2023}
}