非结构化剪枝可引发层坍塌
机器学习
2026-02-24 v2 人工智能
摘要
非结构化剪枝是一种流行的压缩方法，用于高效减少模型参数。然而，尽管它能有效减少参数数量，但人们普遍认为非结构化剪枝无法缩短计算关键路径，即前向传播过程中遍历的最大层数。在本文中，我们研究了非结构化剪枝何时以及如何产生结构性效应。对于整流激活网络，我们引入了神经元熵的概念，用于量化非线性利用程度。我们表明，基于幅值的剪枝会自然降低这种熵，有时会降至零熵层，这些层变得可线性化并因此可以被移除。基于这一见解，我们提出了一种利用“非结构化”剪枝来促进低熵层稀疏性的方法，从而实现其完全移除。我们在 CNN、Vision Transformer 和 NLP 模型中验证了这一现象：非结构化剪枝可以引发有效的层移除，且在过参数化网络中几乎或完全没有性能下降。
引用
@article{arxiv.2404.16890,
title = {Layer Collapse Can be Induced by Unstructured Pruning},
author = {Zhu Liao and Victor Quétu and Van-Tam Nguyen and Enzo Tartaglione},
journal= {arXiv preprint arXiv:2404.16890},
year = {2026}
}