提前赢得彩票：高效的早期网络剪枝
机器学习
2022-06-22 v1
摘要
剪枝，即稀疏化深度神经网络的任务，近来受到越来越多的关注。尽管最先进的剪枝方法提取出高度稀疏的模型，它们忽视了两个主要挑战：(1) 寻找这些稀疏模型的过程通常非常昂贵；(2) 非结构化剪枝在GPU内存、训练时间或碳排放方面不提供益处。我们提出通过梯度流保持实现早期压缩(EarlyCroP)，它在训练前或训练早期高效地提取最先进的稀疏模型以应对挑战(1)，并且可以以结构化方式应用以应对挑战(2)。这使我们能够在商用GPU上训练其稠密版本过大而无法容纳的稀疏网络，从而节省成本并降低硬件需求。我们通过经验表明，EarlyCroP在许多任务(包括分类、回归)和领域(包括计算机视觉、自然语言处理和强化学习)上优于丰富的基线。EarlyCroP取得了与稠密训练相当的准确率，同时优于剪枝基线。
引用
@article{arxiv.2206.10451,
title = {Winning the Lottery Ahead of Time: Efficient Early Network Pruning},
author = {John Rachwan and Daniel Zügner and Bertrand Charpentier and Simon Geisler and Morgane Ayle and Stephan Günnemann},
journal= {arXiv preprint arXiv:2206.10451},
year = {2022}
}