基于生成对抗学习的最优结构化 CNN 剪枝方法
计算机视觉与模式识别
2019-03-25 v1
摘要
对滤波器或神经元的结构化剪枝在压缩卷积神经网络方面受到越来越多的关注。大多数现有方法依赖于以分层方式进行的多阶段优化，用于迭代剪枝和重训练，这可能不是最优的且计算密集。此外，这些方法专为剪枝特定结构而设计，例如滤波器或块结构，而不能联合剪枝异构结构。本文中，我们提出了一种有效的结构化剪枝方法，以端到端方式联合剪枝滤波器以及其他结构。为此，我们首先引入一个软掩码，通过定义带有稀疏正则化的新目标函数以缩放这些结构的输出，使带掩码的网络与基线输出对齐。然后我们通过生成对抗学习 (GAL) 有效求解该优化问题，以无标签、端到端的方式学习稀疏软掩码。通过迫使软掩码中更多缩放因子为零，可利用快速迭代收缩阈值算法 (FISTA) 快速可靠地移除相应结构。大量实验证明了 GAL 在不同数据集上的有效性，包括 MNIST、CIFAR-10 和 ImageNet ILSVRC 2012。例如，在 ImageNet ILSVRC 2012 上，剪枝后的 ResNet-50 达到 10.88% 的 Top-5 误差，并实现 3.7 倍加速。这显著优于最先进的方法。
引用
@article{arxiv.1903.09291,
title = {Towards Optimal Structured CNN Pruning via Generative Adversarial Learning},
author = {Shaohui Lin and Rongrong Ji and Chenqian Yan and Baochang Zhang and Liujuan Cao and Qixiang Ye and Feiyue Huang and David Doermann},
journal= {arXiv preprint arXiv:1903.09291},
year = {2019}
}
备注
Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)