用于深度模型压缩的判别感知网络剪枝
计算机视觉与模式识别
2021-03-30 v2
摘要
我们研究网络剪枝,其旨在移除冗余的通道/核,从而加速深度网络的推理。现有的剪枝方法要么从零开始以稀疏性约束进行训练,要么最小化预训练模型与压缩模型的特征图之间的重构误差。这两种策略都存在一些局限:前一种计算开销大且难以收敛,而后一种优化重构误差却忽略了通道的判别能力。在本文中,我们提出了一种简单而有效的方法,称为判别感知通道剪枝(DCP),以选择实际有助于判别能力的通道。注意,一个通道通常由一组核组成。除了通道中的冗余外,通道中的某些核也可能是冗余的,且未能贡献于网络的判别能力,从而导致核级冗余。为了解决这个问题,我们提出了判别感知核剪枝(DKP)方法,通过移除冗余核来进一步压缩深度网络。为防止DCP/DKP选择冗余的通道/核,我们提出了一种新的自适应停止条件,有助于自动确定所选通道/核的数量,并常能得到更紧凑且性能更好的模型。在图像分类和人脸识别上的大量实验证明了我们方法的有效性。例如,在ILSVRC-12上,通道减少30%所得的ResNet-50模型在Top-1准确率上甚至比基线模型高出0.36%。剪枝后的MobileNetV1和MobileNetV2在移动设备上分别实现了1.93倍和1.42倍的推理加速,且性能下降可忽略。源代码和预训练模型可在 https://github.com/SCUT-AILab/DCP 获取。
引用
@article{arxiv.2001.01050,
title = {Discrimination-aware Network Pruning for Deep Model Compression},
author = {Jing Liu and Bohan Zhuang and Zhuangwei Zhuang and Yong Guo and Junzhou Huang and Jinhui Zhu and Mingkui Tan},
journal= {arXiv preprint arXiv:2001.01050},
year = {2021}
}
备注
14 pages. Extended version of the NeurIPS paper arXiv:1810.11809