面向高效卷积网络的滤波器剪枝
计算机视觉与模式识别
2017-03-13 v3 机器学习
摘要
CNN 在各种应用中的成功伴随着计算与参数存储成本的显著增加。近期降低这些开销的努力包括在不损害原始精度的情况下剪枝和压缩各层权重。然而，基于幅度的权重剪枝从全连接层减少了大量参数，但由于剪枝后网络的不规则稀疏性，可能无法充分降低卷积层的计算成本。我们提出一种 CNN 加速方法，剪枝那些被认定对输出精度影响较小的滤波器。通过移除网络中的整个滤波器及其连接的特征图，计算成本显著降低。与权重剪枝相比，该方法不会产生稀疏连接模式。因此，它不需要稀疏卷积库的支持，并且可以与现有的高效 BLAS 库配合用于稠密矩阵乘法。我们表明，即便简单的滤波器剪枝技术也能在 CIFAR10 上将 VGG-16 的推理成本降低至多 34%，将 ResNet-110 降低至多 38%，同时通过重新训练网络恢复接近原始的精度。
引用
@article{arxiv.1608.08710,
title = {Pruning Filters for Efficient ConvNets},
author = {Hao Li and Asim Kadav and Igor Durdanovic and Hanan Samet and Hans Peter Graf},
journal= {arXiv preprint arXiv:1608.08710},
year = {2017}
}
备注
Published as a conference paper at ICLR 2017