剪枝方法的合理性检验：随机票证亦可赢得头奖
机器学习
2020-10-23 v2 机器学习
摘要
网络剪枝是一种以最小性能退化降低测试时计算资源需求的方法。剪枝算法的传统观点表明：(1) 剪枝方法利用来自训练数据的信息寻找良好子网络；(2) 剪枝后网络的架构对良好性能至关重要。在本文中，我们对上述信念在几种近期非结构化剪枝方法上进行了合理性检验，并惊讶地发现：(1) 一组旨在寻找随机初始化网络（我们称之为“初始票证”）的良好子网络的方法，几乎不利用来自训练数据的任何信息；(2) 对于这些方法的剪枝网络，随机改变每层保留的权重，同时保持每层保留权重总数不变，不影响最终性能。这些发现启发我们为每一层选择一系列简单的\emph{数据无关}剪枝比，并相应随机剪枝每一层以得到子网络（我们称之为“随机票证”）。实验结果表明，我们的零样本随机票证优于或与现有的“初始票证”性能相当。此外，我们识别出一种通过我们合理性检验的现有剪枝方法。我们将随机票证中的比例与该 method 混合，提出了一种称为“混合票证”的新方法，取得了进一步改进。（我们的代码公开于 https://github.com/JingtongSu/sanity-checking-pruning）
引用
@article{arxiv.2009.11094,
title = {Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot},
author = {Jingtong Su and Yihang Chen and Tianle Cai and Tianhao Wu and Ruiqi Gao and Liwei Wang and Jason D. Lee},
journal= {arXiv preprint arXiv:2009.11094},
year = {2020}
}
备注
Accepted by NeurIPS 2020. Code available at https://github.com/JingtongSu/sanity-checking-pruning