DMCP：面向神经网络的可微马尔可夫通道剪枝
计算机视觉与模式识别
2020-05-11 v2 机器学习
摘要
近期工作表明，通道剪枝可视为从未剪枝网络中搜索最优子结构。然而，基于该观察的现有工作需训练并评估大量结构，限制了其应用。本文提出一种新颖的可微通道剪枝方法，名为可微马尔可夫通道剪枝（DMCP），以高效搜索最优子结构。我们的方法可微，并可通过关于标准任务损失与预算正则化（如 FLOPs 约束）的梯度下降直接优化。在 DMCP 中，我们将通道剪枝建模为马尔可夫过程，其中每个状态表示剪枝中保留对应通道，状态间转移表示剪枝过程。最终，我们的方法能够通过具有优化转移的马尔可夫过程隐式选择每层合适的通道数。为验证方法有效性，我们在 ImageNet 上基于 ResNet 和 MobilenetV2 进行了大量实验。结果表明，在不同 FLOPs 设定下，我们的方法相较最先进剪枝方法取得了一致提升。代码见 https://github.com/zx55/dmcp
引用
@article{arxiv.2005.03354,
title = {DMCP: Differentiable Markov Channel Pruning for Neural Networks},
author = {Shaopeng Guo and Yujie Wang and Quanquan Li and Junjie Yan},
journal= {arXiv preprint arXiv:2005.03354},
year = {2020}
}
备注
CVPR2020 Oral. Code has been released at https://github.com/zx55/dmcp