稀有宝石：在初始化时寻找彩票票
机器学习
2022-06-03 v2 人工智能
计算机视觉与模式识别
摘要
大型神经网络可通过耗时的“训练、剪枝、重训练”方法剪枝至原始规模的很小一部分，且精度损失甚微。Frankle 与 Carbin 猜想，我们可以通过训练“彩票票”（即在初始化时发现的可训练至高精度特殊稀疏子网络）来避免此过程。然而，Frankle 等人及 Su 等人后续工作给出了具体证据，表明当前在初始化时寻找可训练网络的算法未能通过简单基线比较，例如与训练随机稀疏子网络相比。寻找比简单基线训练精度更高的彩票票仍是一个开放问题。本工作中，我们通过提出 Gem-Miner 解决了该开放问题，其在初始化时寻找胜过当前基线的彩票票。Gem-Miner 发现的彩票票可训练至与迭代幅度剪枝（IMP）相当或更好的精度，且速度最高快达 。
引用
@article{arxiv.2202.12002,
title = {Rare Gems: Finding Lottery Tickets at Initialization},
author = {Kartik Sreenivasan and Jy-yong Sohn and Liu Yang and Matthew Grinde and Alliot Nagle and Hongyi Wang and Eric Xing and Kangwook Lee and Dimitris Papailiopoulos},
journal= {arXiv preprint arXiv:2202.12002},
year = {2022}
}