早鸟捕获 WORM：加速早鸟收敛的启发式方法
机器学习
2024-12-12 v3 人工智能
摘要
彩票假设提出，在未训练的稠密神经网络中存在理想的稀疏子网络，称为彩票票。早鸟假设提出一种高效算法，用于在卷积神经网络中寻找这些获胜彩票票，利用子网络间距离的新概念来检测模型子网络的收敛。然而，该方法忽略了搜索末期不断的重要神经元群。我们提出了 WORM 方法，通过截断这些静止群的梯度，迫使模型依赖其他神经元。实验表明，WORM 在卷积神经网络上实现更快的票据识别，尽管计算开销增加；此外，WORM 修剪后的模型在修剪过程中损失更少精度，恢复精度更快，从而提高了模型的鲁棒性。此外，WORM 还能较好地将早鸟假设推广到更大的模型，如变换器，显示出其灵活性以适应更复杂的架构。
引用
@article{arxiv.2406.11872,
title = {The EarlyBird Gets the WORM: Heuristically Accelerating EarlyBird Convergence},
author = {Adithya Vasudev},
journal= {arXiv preprint arXiv:2406.11872},
year = {2024}
}
备注
Accepted to the Efficient Natural Language and Speech Processing Workshop at NeurIPS 2024