通过递归贝叶斯剪枝加速 CNN
机器学习
2019-03-28 v2 机器学习
摘要
通道剪枝作为加速卷积神经网络（CNN）的常用手段，由于通道冗余的层间依赖性而是一个 NP 难问题。现有方法通常为计算简便而忽略上述依赖性。为解决该问题，我们在贝叶斯框架下提出一种逐层的递归贝叶斯剪枝方法（RBP）。我们引入一种基于 dropout 的冗余度量，其有助于在假设层间依赖的前提下计算后验。具体而言，我们将跨层噪声建模为马尔可夫链，并以该噪声的后验来反映层间依赖。考虑到后验的闭式解难以处理，我们推导出一种诱导稀疏性的类狄拉克先验，其对所设计噪声的分布进行正则化以自动逼近后验。与现有方法相比，在假设层间依赖时无需额外开销。冗余通道可由微小 dropout 噪声简单识别并逐层直接剪除。在主流 CNN 架构上的实验表明，所提方法优于若干当前最优方法。特别地，在大规模数据集 ILSVRC2012 上，对于 VGG16 与 ResNet50，我们分别实现了高达 与 的 FLOPs 削减且精度损失极小。
引用
@article{arxiv.1812.00353,
title = {Accelerate CNN via Recursive Bayesian Pruning},
author = {Yuefu Zhou and Ya Zhang and Yanfeng Wang and Qi Tian},
journal= {arXiv preprint arXiv:1812.00353},
year = {2019}
}