从迭代剪枝中学习有效的初始化剪枝
计算机视觉与模式识别
2025-12-10 v2 机器学习
摘要
初始化剪枝（PaI）通过在训练前移除权重来降低训练成本，随着网络规模的不断增长，这变得愈发关键。然而，当前的 PaI 方法在准确率上仍与迭代剪枝存在较大差距，尤其是在高稀疏度水平下。这引出了一个有趣的问题：我们能否从迭代剪枝中获得启发以提升 PaI 的性能？在彩票假说中，迭代回退剪枝（IRP）通过在每次剪枝迭代中将参数回退到原始初始化状态来追溯性地寻找子网络，这意味着所有子网络都基于初始状态。在此，我们假设存活的子网络更为重要，并将初始特征与其存活分数关联起来作为 PaI 的准则。我们采用一个端到端的神经网络（\textbf{AutoS}parse）来学习这种相关性，输入模型的初始特征，输出其分数，然后在训练前剪除分数最低的参数。为了验证我们方法的准确性和泛化能力，我们在多种模型上执行了 PaI。结果表明，我们的方法在高稀疏度设置下优于现有方法。值得注意的是，由于模型剪枝的底层逻辑在不同模型中是一致的，因此仅需在一个模型上进行一次 IRP（例如，在 ResNet-18/CIFAR-10 上进行一次 IRP，AutoS 即可泛化到 VGG-16/CIFAR-10、ResNet-18/TinyImageNet 等）。作为首个基于神经网络的 PaI 方法，我们进行了广泛的实验来验证影响该方法的因素。这些结果揭示了神经网络的学习倾向，并从实践角度为我们对 PaI 的理解和研究提供了新的见解。我们的代码可在以下链接获取：https://github.com/ChengYaofeng/AutoSparse.git。
引用
@article{arxiv.2408.14757,
title = {Learning effective pruning at initialization from iterative pruning},
author = {Shengkai Liu and Yaofeng Cheng and Fusheng Zha and Wei Guo and Lining Sun and Zhenshan Bing and Chenguang Yang},
journal= {arXiv preprint arXiv:2408.14757},
year = {2025}
}