用于网络剪枝的权重依赖门
计算机视觉与模式识别
2022-05-20 v4
摘要
本文提出了一个简单而有效的网络剪枝框架，用于同时解决剪枝指示量、剪枝比例和效率约束的问题。本文认为剪枝决策应依赖于卷积权重，从而提出新颖的权重依赖门（W-Gates）来从滤波器权重中学习信息，并获得二值门以自动剪枝或保留滤波器。为了在效率约束下剪枝网络，构建了一个可切换的效率模块（Efficiency Module）来预测候选剪枝网络的硬件延迟或 FLOPs。结合所提出的效率模块，W-Gates 能够以感知效率的方式执行滤波器剪枝，并获得具有更好精度-效率权衡的紧凑网络。我们分别在 ResNet34、ResNet50 和 MobileNet V2 上验证了所提方法的有效性，在 ImageNet 上以更低的硬件延迟分别实现了高达 1.33/1.28/1.1 的 Top-1 精度提升。与最先进（state-of-the-art）方法相比，W-Gates 也取得了更优的性能。
引用
@article{arxiv.2007.02066,
title = {Weight-dependent Gates for Network Pruning},
author = {Yun Li and Zechun Liu and Weiqun Wu and Haotian Yao and Xiangyu Zhang and Chi Zhang and Baoqun Yin},
journal= {arXiv preprint arXiv:2007.02066},
year = {2022}
}
备注
13 pages, 7 figures, to appear at IEEE TCSVT