剪枝极深神经网络通道以实现高效推理
计算机视觉与模式识别
2022-11-16 v1
摘要
本文提出一种新的通道剪枝方法以加速极深卷积神经网络。给定训练好的 CNN 模型，我们提出一种迭代两步算法，通过基于 LASSO 回归的通道选择与最小二乘重构来有效剪枝每一层。我们进一步将该算法推广到多层与多分支情形。我们的方法降低了累积误差并增强了对多种架构的兼容性。我们剪枝后的 VGG-16 取得了仅 0.3% 误差增加下 5 倍加速的 SOTA 结果。更重要的是，我们的方法能够加速 ResNet、Xception 等现代网络，在 2 倍加速下分别仅承受 1.4%、1.0% 的精度损失，这十分显著。我们的代码已公开可用。
引用
@article{arxiv.2211.08339,
title = {Pruning Very Deep Neural Network Channels for Efficient Inference},
author = {Yihui He},
journal= {arXiv preprint arXiv:2211.08339},
year = {2022}
}
备注
an extension of Channel Pruning for Accelerating Very Deep Neural Networks. arXiv admin note: substantial text overlap with arXiv:1707.06168