面向深度神经网络的可判别性感知通道剪枝
计算机视觉与模式识别
2019-01-15 v3
摘要
通道剪枝是深度模型压缩的主要方法之一。现有的剪枝方法要么从零开始训练并对通道施加稀疏约束，要么最小化预训练特征图与压缩后特征图之间的重构误差。这两种策略都存在一些局限：前者计算开销大且难以收敛，而后者优化重构误差却忽略了通道的判别能力。为克服这些缺陷，我们研究了一种简单而有效的方法，称为可判别性感知通道剪枝，以挑选那些真正对判别能力有贡献的通道。为此，我们在网络中引入额外损失以增强中间层的判别能力，然后通过综合考虑额外损失与重构误差，为每一层选择最具判别性的通道。最后，我们提出一种贪心算法，以迭代方式进行通道选择与参数优化。大量实验证明了我们方法的有效性。例如，在 ILSVRC-12 上，我们剪枝后的 ResNet-50 在通道减少 30% 的情况下，其 top-1 准确率甚至比原始模型高出 0.39%。
引用
@article{arxiv.1810.11809,
title = {Discrimination-aware Channel Pruning for Deep Neural Networks},
author = {Zhuangwei Zhuang and Mingkui Tan and Bohan Zhuang and Jing Liu and Yong Guo and Qingyao Wu and Junzhou Huang and Jinhui Zhu},
journal= {arXiv preprint arXiv:1810.11809},
year = {2019}
}
备注
NeurIPS 2018