VACL：用于剪枝深度残差网络的方差感知跨层正则化
计算机视觉与模式识别
2019-09-12 v1 人工智能
摘要
提高权重稀疏性是生成轻量级深度神经网络的常用策略。然而，对具有残差学习的模型进行剪枝更具挑战性。在本文中，我们引入了方差感知跨层（VACL），一种解决该问题的新方法。VACL 由两部分组成：跨层分组和方差感知正则化。在跨层分组中，由跳跃连接相连的层的第 个滤波器被分组成一个正则化组。然后，方差感知正则化项考虑相连层的一阶和二阶统计量，以约束组内的方差。我们的方法能有效提高残差模型的结构稀疏性。对于 CIFAR10，所提方法在精度无下降的情况下将 ResNet 模型最多缩减 79.5%，并在精度下降不到 1% 的情况下将 ResNeXt 模型最多缩减 82%。对于 ImageNet，其剪枝率高达 63.3%，且 top-5 精度下降不到 1%。我们的实验结果表明，所提方法在整体模型大小和精度方面显著优于其他 SOTA 方法。
引用
@article{arxiv.1909.04485,
title = {VACL: Variance-Aware Cross-Layer Regularization for Pruning Deep Residual Networks},
author = {Shuang Gao and Xin Liu and Lung-Sheng Chien and William Zhang and Jose M. Alvarez},
journal= {arXiv preprint arXiv:1909.04485},
year = {2019}
}
备注
ICCV Workshop