用于寻找中奖彩票子网的数据依赖剪枝
机器学习
2020-06-26 v1 机器学习
摘要
彩票假设假定，一个全新初始化的神经网络包含一个小的子网络，该子网络可独立训练以达成与完整网络相似的性能。本文考察了多种寻找此类子网络的替代方法。我们得出结论：以训练损失梯度的形式将依赖于数据的组件纳入剪枝准则——如 SNIP 方法所做的那样——能够持续提升现有剪枝算法的性能。
引用
@article{arxiv.2006.14350,
title = {Data-dependent Pruning to find the Winning Lottery Ticket},
author = {Dániel Lévai and Zsolt Zombori},
journal= {arXiv preprint arXiv:2006.14350},
year = {2020}
}