神经网络剪枝的研究现状如何？
机器学习
2020-03-09 v1 机器学习
摘要
神经网络剪枝——即通过移除参数来缩减网络规模的任务——近年来已成为大量研究的主题。我们对相关文献进行了元分析，包括剪枝方法概述以及文献中一致的发现。在汇总81篇论文的结果并在受控条件下对数百个模型进行剪枝后，我们最清晰的发现是：该领域缺乏标准化的基准与度量指标。这一缺陷十分严重，以至于难以将各种剪枝技术相互比较，或判断该领域在过去三十年中取得了多少进展。为应对这一局面，我们指出了当前实践中的问题，提出了具体补救措施，并引入了ShrinkBench——一个用于促进剪枝方法标准化评估的开源框架。我们利用ShrinkBench比较了多种剪枝技术，并表明其全面评估能够避免比较剪枝方法时的常见陷阱。
引用
@article{arxiv.2003.03033,
title = {What is the State of Neural Network Pruning?},
author = {Davis Blalock and Jose Javier Gonzalez Ortiz and Jonathan Frankle and John Guttag},
journal= {arXiv preprint arXiv:2003.03033},
year = {2020}
}
备注
Published in Proceedings of Machine Learning and Systems 2020 (MLSys 2020)