BWCP：基于批白化的卷积网络概率式通道剪枝学习
机器学习
2021-05-14 v1 人工智能
摘要
本工作提出一种概率式通道剪枝方法以加速卷积神经网络（CNNs）。以往的剪枝方法常在训练中以确定性的方式将不重要通道置零，这降低了 CNN 的学习容量并导致次优性能。为解决该问题，我们开发了基于概率的剪枝算法，称为批白化通道剪枝（BWCP），它通过建模通道被激活的概率来随机丢弃不重要通道。BWCP 具有若干优点。（1）它以概率方式从零开始同时训练与剪枝 CNNs，比确定性方法探索更大的网络空间。（2）BWCP 由所提出的批白化工具赋能，该工具能够在经验与理论上提高有用通道的激活概率，同时保持不重要通道不变，且在推理中不增加任何额外参数与计算开销。（3）在 CIFAR-10、CIFAR-100 与 ImageNet 上基于多种网络架构的广泛实验表明，在给定有限计算预算下，BWCP 以更优准确率超越同类方法。例如，经 BWCP 剪枝的 ResNet50 在 ImageNet 上仅有 0.70\% 的 Top-1 准确率下降，同时减少原始 ResNet50 的 43.1\% FLOPs。
引用
@article{arxiv.2105.06423,
title = {BWCP: Probabilistic Learning-to-Prune Channels for ConvNets via Batch Whitening},
author = {Wenqi Shao and Hang Yu and Zhaoyang Zhang and Hang Xu and Zhenguo Li and Ping Luo},
journal= {arXiv preprint arXiv:2105.06423},
year = {2021}
}
备注
19 pages, 7 figures, 6 tables