通过分阶段剪枝实现有效的模型压缩
计算机视觉与模式识别
2021-09-23 v2
摘要
自动化机器学习（Auto-ML）剪枝方法旨在自动搜索剪枝策略以降低深度卷积神经网络（deep CNNs）的计算复杂度。然而，先前一些工作发现许多 Auto-ML 剪枝方法的结果甚至无法超越均匀剪枝方法的结果。本文揭示了由超网训练不充分与不公正所导致的 Auto-ML 剪枝无效性。深层超网因包含过多候选者而遭受训练不充分。为克服训练不充分，提出了分阶段剪枝（SWP）方法，其将深层超网拆分为若干分阶段超网以减少候选数量，并利用原地蒸馏来监督阶段训练。此外，宽超网因各通道采样概率不等而遭受训练不公正。因此，在每次训练迭代中采样 fullnet 和 tinynet 以确保每个通道都能被过度训练。值得注意的是，用 SWP 训练的子类网络的代理性能比大多数先前 Auto-ML 剪枝工作的更接近实际性能。实验表明，在移动端设置下 SWP 在 CIFAR-10 和 ImageNet 上均达到了 SOTA。
引用
@article{arxiv.2011.04908,
title = {Effective Model Compression via Stage-wise Pruning},
author = {Mingyang Zhang and Xinyi Yu and Jingtao Rong and Linlin Ou},
journal= {arXiv preprint arXiv:2011.04908},
year = {2021}
}