GDP：基于可微极化门控的稳定化神经网络剪枝
计算机视觉与模式识别
2021-09-09 v2
摘要
模型压缩技术近来因能为各种实时应用获取高效 AI 模型而受到爆发式关注。通道剪枝是一项重要的压缩策略，被广泛用于精简各类 DNN。先前基于门控或基于重要性的剪枝方法旨在移除重要性最小的通道。然而，通道重要性应以何种准则度量仍不明确，导致了各种启发式通道选择。其他一些基于采样的剪枝方法部署采样策略训练子网络，常引起训练不稳定及压缩模型性能下降。鉴于这些研究空白，我们受原则性优化思想启发，提出名为可微极化门控（Gates with Differentiable Polarization, GDP）的新模块。GDP 可不加修饰地插入卷积层之前，以控制每个通道或整个层块的开关。在训练过程中，极化效应将驱动一部分门控平滑地降至精确为零，而其他门控逐渐以较大间隔远离零。训练终止时，那些零门控通道可被无痛移除，而其他非零门控可吸收进后续卷积核，对训练毫无中断，也不损伤已训练模型。在 CIFAR-10 与 ImageNet 数据集上的实验表明，所提 GDP 算法在多种基准 DNN 上、于广泛剪枝比下均达到最先进（SOTA）性能。我们还将 GDP 应用于具挑战性的 Pascal VOC 分割任务上的 DeepLabV3Plus-ResNet50，在超过 60% FLOPs 节省下其测试性能未见下降（甚至略有提升）。
引用
@article{arxiv.2109.02220,
title = {GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization},
author = {Yi Guo and Huan Yuan and Jianchao Tan and Zhangyang Wang and Sen Yang and Ji Liu},
journal= {arXiv preprint arXiv:2109.02220},
year = {2021}
}
备注
Accepted by ICCV 2021