信息一致性剪枝：如何高效搜索稀疏网络？
机器学习
2025-01-28 v1 信息论
神经与进化计算
math.IT
摘要
迭代大小剪枝方法（IMPs）虽在减少过参数深度神经网络（DNN）中无关节点数量方面取得成功，但因计算和内存限制的快速部署，引发广泛关注。现有IMPs算法存在显著训练时间成本。本文引入一种新型\textit{停止准则}，监控网络各层间的信息与梯度流动，最小化训练时间。信息一致性剪枝（OurMethod）无需在剪枝中间步骤中重新训练至原始性能，最终仍保持整体性能。实验表明，本算法在多种数据集-DNN组合下优于当前IMPs。我们提供算法核心思想的理论依据及基于流动性的IMPs的数学解释。代码已发布于\url{https://github.com/Sekeh-Lab/InfCoP}。
引用
@article{arxiv.2501.15592,
title = {Information Consistent Pruning: How to Efficiently Search for Sparse Networks?},
author = {Soheil Gharatappeh and Salimeh Yasaei Sekeh},
journal= {arXiv preprint arXiv:2501.15592},
year = {2025}
}