深度神经网络剪枝方法
机器学习
2021-08-02 v2 神经与进化计算
摘要
本文对深度神经网络剪枝方法进行了综述。首先基于所采用的基本方法对超过150项研究进行分类，然后重点关注三类：基于幅度的剪枝方法、利用聚类识别冗余的方法，以及使用灵敏度分析评估剪枝影响的方法。文中介绍了这些类别中一些具有关键影响的研究，以突出其基本方法和所取得的成果。由于新架构、算法和数据集随时间发展，大多数研究的结果分散在文献中，使得跨不同研究的比较十分困难。因此，本文为社区提供了一个资源，可用于快速比较多种不同方法在各类数据集和一系列架构（包括AlexNet、ResNet、DenseNet和VGG）上的结果。该资源通过比较已发表的在ImageNet上剪枝AlexNet和ResNet50、在CIFAR10数据上剪枝ResNet56和VGG16的结果来说明，以揭示哪些剪枝方法在保持准确率的同时实现良好压缩率方面表现优异。本文最后指出了一些有前景的未来研究方向。
引用
@article{arxiv.2011.00241,
title = {Methods for Pruning Deep Neural Networks},
author = {Sunil Vadera and Salem Ameen},
journal= {arXiv preprint arXiv:2011.00241},
year = {2021}
}
备注
Major revision that includes additional references and a new section for comparison of results