线性模型中的彩票票假设:迭代幅值剪枝分析
机器学习
2021-07-06 v3 机器学习
摘要
我们分析彩票票假设 arXiv:1803.03635v5 背后的剪枝过程,即迭代幅值剪枝(IMP),当其应用于由梯度流训练的线性模型时的情况。我们首先给出特征统计结构的一组充分条件,在此条件下 IMP 会剪枝掉那些在数据上投影最小的特征。随后,我们将 IMP 作为一种稀疏估计方法进行探讨。
引用
@article{arxiv.2007.08243,
title = {Lottery Tickets in Linear Models: An Analysis of Iterative Magnitude Pruning},
author = {Bryn Elesedy and Varun Kanade and Yee Whye Teh},
journal= {arXiv preprint arXiv:2007.08243},
year = {2021}
}
备注
Updated for Sparsity in Neural Networks Workshop