重新思考基于类判别的 CNN 通道剪枝
计算机视觉与模式识别
2020-05-01 v1
摘要
通道剪枝在网络压缩中受到越来越多的关注。特别是，基于类判别的通道剪枝取得了重大进展，因为它与 CNN 的分类目标无缝契合并提供了良好的可解释性。先前的工作单独提出并评估了它们的判别函数，而缺乏对所用度量有效性的进一步研究。为此，我们首次开展了对广泛判别函数在通道剪枝上有效性的研究。像 Student's T-Test 这样的常规单变量二分类统计也通过一种直观的推广被纳入我们的研究。我们研究中胜出的度量相比其他最先进(state-of-the-art)方法具有更强选择信息丰富通道的能力，这由我们的定性与定量分析所证实。此外，我们开发了一种 FLOP 归一化敏感度分析方案以自动化结构剪枝过程。在 CIFAR-10、CIFAR-100 和 ILSVRC-2012 数据集上，我们的剪枝模型以更低的推理成本实现了比最先进结果更高的准确率。例如，在 ILSVRC-2012 上，我们剪枝掉 44.3% FLOPs 的 ResNet-50 仅有 0.3% 的 top-1 准确率下降，显著优于最先进水平。
引用
@article{arxiv.2004.14492,
title = {Rethinking Class-Discrimination Based CNN Channel Pruning},
author = {Yuchen Liu and David Wentzlaff and S. Y. Kung},
journal= {arXiv preprint arXiv:2004.14492},
year = {2020}
}