基于资源重分配的神经网络剪枝
计算机视觉与模式识别
2021-03-03 v1
摘要
通道剪枝被广泛认为是一种通过从大型冗余网络中剔除不重要通道来获得小型紧凑模型的有效方法。当代方法通常从原始过参数化模型出发执行迭代剪枝过程，这一过程既繁琐又昂贵，尤其在剪枝幅度较大时。本文提出一种简单而有效的通道剪枝技术，称为基于资源重分配的神经网络剪枝（PEEL），以可忽略的代价快速生成所需的纤细模型。具体而言，PEEL首先构建预定义骨干网络，然后在其上执行一轮资源重分配，将参数从信息量较少的层转移到更重要的层，从而放大这些富含信息层的正向效应。为证明PEEL的有效性，我们在ImageNet上使用ResNet-18、ResNet-50、MobileNetV2、MobileNetV3-small和EfficientNet-B0进行了大量实验。实验结果表明，在各种剪枝设置下，PEEL发现的结构与最先进（SOTA）剪枝算法相比具有竞争力。我们的代码可在 https://github.com/cardwing/Codes-for-PEEL 获取。
引用
@article{arxiv.2103.01847,
title = {Network Pruning via Resource Reallocation},
author = {Yuenan Hou and Zheng Ma and Chunxiao Liu and Zhe Wang and Chen Change Loy},
journal= {arXiv preprint arXiv:2103.01847},
year = {2021}
}
备注
12 pages, 11 figures, 7 tables