谱结构失真揭示神经网络中多余神经元

过参数化神经网络常包含大量可移除的神经元，但何种神经元才是多余的仍不为人所了解。现有剪枝准则常依赖局部量，如权重幅度、激活强度或梯度敏感性，但这些措施为理解神经元在层次变换中结构性作用提供了有限的洞见。本文表明，神经元的冗余性可通过其在层次表示变换引起的谱结构失真中的弱参与度来刻画。对于每个隐藏层，我们记录前激活和后激活隐藏状态，将神经元建模为图节点，构建描述神经元级关系结构的输入侧图和输出侧图，分别刻画层次变换前后的关系结构。我们定义谱结构重要性得分，衡量每个神经元对这两种关系结构之间主导图谱失真的贡献。参与度低的神经元被视为结构上多余的，并通过迭代剪枝过程移除，在每次结构变化后重新计算得分；在达到目标参数降低后，仅进行一次恢复微调。直接消融分析和在常规神经网络、encoder-only Transformer 和 decoder-only 语言模型上的实验表明，这种图谱准则能够识别可移除的神经元和 Transformer 单元，同时在压缩后保持任务性能。这些结果表明，神经元冗余性不仅是小权重或弱激活的副产品，更可通过其在层次关系结构谱失真中的弱参与度来理解。