用于卷积神经网络加速的结构化概率剪枝
机器学习
2018-09-13 v3 机器学习
摘要
在本文中，我们提出了一种用于卷积神经网络加速的新型渐进式参数剪枝方法，命名为结构化概率剪枝（SPP），该方法以概率方式有效剪枝卷积层的权重。与现有的确定性剪枝方法（即不重要的权重被永久剔除）不同，SPP为每个权重引入一个剪枝概率，并通过从剪枝概率中采样来指导剪枝。我们设计了一种机制，在训练过程中根据重要性标准增加和降低剪枝概率。实验表明，在4倍加速下，SPP加速AlexNet在ImageNet分类中仅损失0.3%的top-5准确率，加速VGG-16仅损失0.8%的top-5准确率。此外，SPP可直接应用于加速多分支CNN网络（如ResNet），无需特定适配。我们的2倍加速ResNet-50在ImageNet上仅损失0.8%的top-5准确率。我们进一步展示了SPP在迁移学习任务上的有效性。
引用
@article{arxiv.1709.06994,
title = {Structured Probabilistic Pruning for Convolutional Neural Network Acceleration},
author = {Huan Wang and Qiming Zhang and Yuehai Wang and Haoji Hu},
journal= {arXiv preprint arXiv:1709.06994},
year = {2018}
}
备注
CNN model acceleration, 13 pages, 6 figures, accepted by Proceedings of the British Machine Vision Conference (BMVC), 2018 oral