通过连续稀疏化赢得彩票
机器学习
2021-01-12 v4 机器学习
摘要
对高效稀疏深度神经网络模型的搜索最主要通过剪枝实现：训练一个稠密、过参数化的网络并移除参数，通常遵循手工设计的启发式方法。此外，近期的彩票假说推测，对于典型规模的神经网络，可以找到小的子网络，当从零开始以可比的预算训练时，能匹配原始稠密对应模型的性能。我们重新审视剪枝算法的基本方面，指出以往方法中缺失的要素，并开发了一种名为连续稀疏化（Continuous Sparsification）的方法，该方法基于对一个难处理的 正则化的新颖近似来搜索稀疏网络。我们在剪枝以及彩票搜索方面与主导的基于启发式的方法进行比较——寻找能够成功从早期迭代点重新训练的稀疏子网络。实证结果表明，在模型和数据集（包括 CIFAR-10 上训练的 VGG 和 ImageNet 上训练的 ResNet-50）上，我们在两个目标上均超越了 SOTA。除了为剪枝设立新标准外，连续稀疏化还提供快速的并行彩票搜索，为彩票假说的新的应用打开了大门。
引用
@article{arxiv.1912.04427,
title = {Winning the Lottery with Continuous Sparsification},
author = {Pedro Savarese and Hugo Silva and Michael Maire},
journal= {arXiv preprint arXiv:1912.04427},
year = {2021}
}
备注
Published as a conference paper at NeurIPS 2020