稀疏神经网络中基于密度发现的子网络生长范式
机器学习
2025-10-01 v1
摘要
摇奖票假设指出，密集网络包含可独立训练以匹配全模型性能的稀疏子网络。现有方法——迭代修剪、动态稀疏训练和初始化时修剪——要么造成巨大的再训练成本，要么假设目标密度提前固定。我们引入了基于路径权重幅度乘积的随机生长（PWMPR），一种稀疏到稠密的训练范式，通过生长网络而非修剪网络来自动发现其运行密度。从稀疏种子开始，PWMPR通过基于路径核激分数引导添加边缘，通过随机化缓解瓶颈，并在Logistic拟合规则检测到准确率平台化时停止。在CIFAR、TinyImageNet和ImageNet上的实验表明，PWMPR接近IMP派生的摇奖票——尽管在更高的密度下——而成本显著降低（约1.5倍稠密网络 vs. 3-4倍用于IMP）。这些结果表明，基于生长的密度发现是一种值得期待的范式，补充了修剪和动态稀疏性。
引用
@article{arxiv.2509.25665,
title = {Growing Winning Subnetworks, Not Pruning Them: A Paradigm for Density Discovery in Sparse Neural Networks},
author = {Qihang Yao and Constantine Dovrolis},
journal= {arXiv preprint arXiv:2509.25665},
year = {2025}
}