具有粗粒度剪枝的紧凑深度卷积神经网络
机器学习
2016-11-01 v1 神经与进化计算
摘要
神经网络的学习能力随深度增加而提升，但计算成本更高。具有密集核连接模式的更宽层进一步增加了该成本，并可能阻碍实时推理。我们提出特征图与核级别的剪枝，以降低深度卷积神经网络的计算复杂度。剪枝特征图可减小层的宽度，因此不需要任何稀疏表示。此外，核剪枝将密集连接模式转换为稀疏模式。由于粗粒度特性，这些剪枝粒度可被基于GPU和VLSI的实现所利用。我们提出一种简单且通用的策略，为两种粒度选择对抗性最小的剪枝掩码。对剪枝后的网络进行重训练，以补偿准确率的损失。当同时使用两种粒度对网络进行剪枝时，我们获得了最佳剪枝比例。在CIFAR-10数据集上的实验表明，可以在卷积层中诱导出超过85%的稀疏度，而基线网络的误分类率增加小于1%。
引用
@article{arxiv.1610.09639,
title = {Compact Deep Convolutional Neural Networks With Coarse Pruning},
author = {Sajid Anwar and Wonyong Sung},
journal= {arXiv preprint arXiv:1610.09639},
year = {2016}
}