进入彩票：从零开始稀疏训练的再参数化
机器学习
2025-10-24 v2 计算机视觉与模式识别
摘要
稀疏神经网络从零开始训练(PaI)与稠密到稀疏训练之间的性能差距是高效深度学习面临的主要障碍。根据彩票假设，PaI依赖于找到特定问题的参数初始化。我们指出，仅确定正确的参数符号即可。然而，这些符号在PaI中仍显得难以捉摸。为此，我们提出Sign-In，该方法采用可证明诱导符号翻转的动态再参数化。这种符号翻转与稠密到稀疏训练能够实现的符号翻转互为补充，使Sign-In成为一种正交的方法。虽然我们的实验和理论表明PaI的性能提升，但它们也开拓了关闭PaI与稠密到稀疏训练之间鸿沟的主要开放性挑战。
引用
@article{arxiv.2504.12801,
title = {Sign-In to the Lottery: Reparameterizing Sparse Training From Scratch},
author = {Advait Gadhikar and Tom Jacobs and Chao Zhou and Rebekka Burkholz},
journal= {arXiv preprint arXiv:2504.12801},
year = {2025}
}
备注
Accepted at NeurIPS 2025