结构化 vs. 无结构剪枝：指数级差距
机器学习
2026-03-05 v2 人工智能
摘要
强型 Lottery Ticket Hypothesis (SLTH) 认为，大型随机初始化神经网络包含能够在初始化时无需训练即可逼近目标函数的稀疏子网络，这表明仅凭剪枝就足以实现。剪枝方法通常分为无结构式和结构化式，后者根据特定模式(例如神经元剪枝)移除参数。既有理论结果支持 SLTH 几乎完全依赖于无结构剪枝，表明对简单目标网络进行近似逼近只需对数级过参数化。相比之下，神经元剪枝获得了有限的理论关注。在本 work 中，我们考虑使用随机初始化无偏 ReLU 神经元来逼近单个无偏 ReLU 神经元的问题，从而孤立神经元剪枝的固有局限性。我们表明，神经元剪枝需要起始网络拥有 个隐藏神经元才能 近似目标 ReLU 神经元。相比之下，权重剪枝仅需 个神经元即可实现 近似，确立了两种剪枝范式之间的指数级分离。
引用
@article{arxiv.2603.02234,
title = {Structured vs. Unstructured Pruning: An Exponential Gap},
author = {Davide Ferre' and Frédéric Giroire and Frederik Mallmann-Trenn and Emanuele Natale},
journal= {arXiv preprint arXiv:2603.02234},
year = {2026}
}