ESPN：极度稀疏剪枝网络
机器学习
2020-06-30 v1 机器学习
摘要
深度神经网络常常高度过参数化，使其无法在计算受限的系统中使用。然而，近期一系列工作表明，通过在训练前识别对应于显著权重的神经元指示符（或掩码）子集，可以大幅缩减深度网络的规模。我们证明，一种简单的迭代掩码发现方法能够实现对极深网络的最优压缩。我们的算法代表了单次网络剪枝方法（如 SNIP）与彩票票根（Lottery-Ticket）类方法之间的混合方案。我们在多个数据集上验证了该方法，并在测试准确率和压缩比上均优于多种现有剪枝方法。
引用
@article{arxiv.2006.15741,
title = {ESPN: Extremely Sparse Pruned Networks},
author = {Minsu Cho and Ameya Joshi and Chinmay Hegde},
journal= {arXiv preprint arXiv:2006.15741},
year = {2020}
}