高效保持模型精度的自动神经网络剪枝
计算机视觉与模式识别
2022-12-08 v2
摘要
近年来神经网络性能得到显著提升，代价是每秒浮点运算次数（FLOPs）不断增加。然而，当计算资源受限时，更多的 FLOPs 可能成为问题。作为解决该问题的一种尝试，滤波器剪枝是常见方案，但现有大多数剪枝方法不能高效地保持模型精度，因此需要大量的微调轮数。本文提出一种自动剪枝方法，其学习保留哪些神经元，以在将 FLOPs 降低到预定义目标的同时保持模型精度。为完成此任务，我们引入了一个可训练的瓶颈层，仅需使用 25.6%（CIFAR-10）或 7.49%（ILSVRC2012）的数据集进行一个轮次训练，即可学习应剪枝哪些滤波器。在各种架构和数据集上的实验表明，所提方法不仅能保持剪枝后的精度，还能在微调后优于现有方法。我们在 ResNet-50 上实现了 52.00% 的 FLOPs 削减，剪枝后 Top-1 精度为 47.51%，在 ILSVRC2012 上微调后达到了最先进（SOTA）精度 76.63%。代码见 https://github.com/nota-github/autobot_AAAI23。
引用
@article{arxiv.2111.09635,
title = {Automatic Neural Network Pruning that Efficiently Preserves the Model Accuracy},
author = {Thibault Castells and Seul-Ki Yeom},
journal= {arXiv preprint arXiv:2111.09635},
year = {2022}
}
备注
11 pages, 6 figures, 5 tables, accepted in AAAI2023 Workshop (Practical AI)