理解迭代幅值剪枝：彩票票为何获胜
机器学习
2021-06-15 v1
摘要
彩票票假设指出，在随机初始化的稠密网络中存在稀疏子网络，可训练至与其所在的稠密网络相同的精度。然而，后续工作未能在大规模模型上复现这一点，而是需要将网络回退到早期的稳定状态而非初始化状态。我们表明，通过使用相对于线性模式连通性稳定的训练方法，大型网络也可以完全回退到初始化状态。我们随后在常见视觉任务上的实验为Evci等人(2020b)的假设提供了有力证据，即彩票票只是重新训练到相同区域（尽管不一定到同一势阱）。这些结果意味着，现有的彩票票若非通过迭代幅值剪枝在先的稠密训练，本不可能被发现，从而对彩票票假设的使用提出了质疑。
引用
@article{arxiv.2106.06955,
title = {Towards Understanding Iterative Magnitude Pruning: Why Lottery Tickets Win},
author = {Jaron Maene and Mingxiao Li and Marie-Francine Moens},
journal= {arXiv preprint arXiv:2106.06955},
year = {2021}
}