AdaPruner：自适应通道剪枝与有效权重继承
计算机视觉与模式识别
2021-09-15 v1
摘要
通道剪枝是深度神经网络的主要压缩方法之一。尽管以往的剪枝方法多聚焦于识别不重要的通道，但近年来通道剪枝被视为神经架构搜索的一种特例。然而，现有方法要么复杂，要么易于陷入次优剪枝。本文提出一种剪枝框架，自适应地确定每层通道数量以及子网络的权重继承准则。首先，基于 BN 层缩放参数的均值评估网络中每个块的重要性。其次，使用二分法快速找到满足预算的紧凑子网络。最后，自适应且高效地选择适配当前架构的权重继承准则，并微调剪枝后的网络以恢复性能。AdaPruner 兼顾结构与初始化权重，可快速、准确、高效地获得剪枝网络。我们在不同图像分类数据集上剪枝当前流行的 CNN 模型（VGG、ResNet、MobileNetV2），实验结果证明了我们所提方法的有效性。在 ImageNet 上，我们将 MobileNetV2 的 FLOPs 降低 32.8%，而 top-1 精度仅下降 0.62%，超越了以往所有 SOTA 通道剪枝方法。代码将公开。
引用
@article{arxiv.2109.06397,
title = {AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance},
author = {Xiangcheng Liu and Jian Cao and Hongyi Yao and Wenyu Sun and Yuan Zhang},
journal= {arXiv preprint arXiv:2109.06397},
year = {2021}
}