麦克斯韦妖在工作：利用神经元饱和进行高效剪枝
机器学习
2026-01-01 v2 人工智能
摘要
在训练神经网络时，死亡神经元——即变为非活跃或饱和的单元——传统上被视为有害的。本文对这一现象提供了新的见解。通过探索训练期间各种超参数配置对死亡神经元的影响，我们收集了关于如何改进稀疏训练方法以进行剪枝的见解。我们引入了 Demon Pruning (DemP)，这是一种通过在活跃单元上注入噪声并结合单周期调度正则化策略来控制死亡神经元增殖的方法，可动态实现网络稀疏性。在 CIFAR-10 和 ImageNet 数据集上的实验表明，DemP 优于现有的从稠密到稀疏的结构化剪枝方法，实现了更好的准确率-稀疏度权衡，并将训练速度提升了高达 3.56。这些发现为将死亡神经元作为高效模型压缩与优化的资源提供了新视角。
引用
@article{arxiv.2403.07688,
title = {Maxwell's Demon at Work: Efficient Pruning by Leveraging Saturation of Neurons},
author = {Simon Dufort-Labbé and Pierluca D'Oro and Evgenii Nikishin and Razvan Pascanu and Pierre-Luc Bacon and Aristide Baratin},
journal= {arXiv preprint arXiv:2403.07688},
year = {2026}
}