基于敏感性统计量迭代排序的剪枝方法
机器学习
2020-06-16 v2 机器学习
摘要
随着 SNIP [arXiv:1810.02340v2] 的提出，已证明现代神经网络可以在训练前被有效剪枝。然而，其敏感性准则此后被批评为未能正确传播训练信号甚至断开层。作为补救，引入了 GraSP [arXiv:2002.07376v1]，但在简洁性上有所妥协。然而，在这项工作中，我们表明通过在更小的步骤中迭代地应用敏感性准则——仍然在训练前——我们可以在不复杂实现的情况下提升其性能。因此，我们引入了“SNIP-it”。然后我们展示了它如何应用于结构化和非结构化剪枝，在训练前和/或训练期间，从而实现最先进的稀疏性-性能权衡。也就是说，同时从一开始就提供了训练过程中剪枝的计算优势。此外，我们还评估了我们的方法对过拟合、断开连接和对抗攻击的鲁棒性。
引用
@article{arxiv.2006.00896,
title = {Pruning via Iterative Ranking of Sensitivity Statistics},
author = {Stijn Verdenius and Maarten Stol and Patrick Forré},
journal= {arXiv preprint arXiv:2006.00896},
year = {2020}
}
备注
25 pages, 21 figures, 62 pictures, typos corrected, reference added