用于逐元素分块 CNN 剪枝的有向加权组 Lasso
计算机视觉与模式识别
2019-10-22 v1
摘要
逐元素层(eltwise layer)是多分支深度学习网络中常用的结构。在滤波器级剪枝过程中,由于逐元素层的特定操作,其所有前驱卷积层需共同投票决定按索引应剪枝哪些滤波器。由于仅对投票交集进行剪枝,压缩率受到限制。本文提出一种称为有向加权组 Lasso(Directed-Weighting Group Lasso, DWGL)的方法,该方法在滤波器级组 lasso 项上施加索引级递增(有向)系数,使得低索引滤波器因高激活倾向于被保留,而高索引滤波器倾向于被剪枝。使用 DWGL 时,投票过程中保留的滤波器大幅减少,从而可提升压缩率。本文在 ResNet 系列网络上测试了所提方法。在 CIFAR-10 上,ResNet-56 达到 75.34% 的压缩率且误差仅增加 0.94%,ResNet-20 达到 52.06% 的压缩率且误差增加 0.72%。在 ImageNet 上,ResNet-50 达到 53% 的压缩率且误差增加 0.6%,网络加速 2.23 倍;此外,ResNet-50 达到 75% 的压缩率且误差增加 1.2%,网络加速 4 倍。
引用
@article{arxiv.1910.09318,
title = {Directed-Weighting Group Lasso for Eltwise Blocked CNN Pruning},
author = {Ke Zhan and Shimiao Jiang and Yu Bai and Yi Li and Xu Liu and Zhuoran Xu},
journal= {arXiv preprint arXiv:1910.09318},
year = {2019}
}