Supernodes 和 Halos：LLM 前馈层中的损失关键中枢
机器学习
2026-05-07 v2 计算与语言
摘要
我们研究了变换器前馈网络（FFN）中通道级重要性的组织结构。使用基于激活-梯度二阶矩的 Fisher 风格损失代理（LP），我们表明损失灵敏度集中于每个图层中少数几个通道。 在 Llama-3.1-8B 中，每个图层最上游 1% 的通道占 LP 质量中位数的 58.7%，范围为 33.0% 到 86.1%。我们将这些损失敏感通道称为 supernodes。虽然 FFN 图层也包含强激活离群值，但LP 定义的 supernodes 与激活定义的离群值仅重叠较弱，无法仅通过激活功率或权重范数解释。围绕这一核心，我们发现较弱但一致的 halo 结构：某些非 supernode 通道共享 supernodes 的写支持，与受保护核心显示更强的冗余性。我们使用一次性结构 FFN 剪枝作为诊断性测试。50% FFN 稀疏度下，剪除许多 supernodes 的基线性能急剧下降，而我们的 SCAR 变体显式保护 supernode 核心；最强变体 SCAR-Prot 的 perplexity 为 54.8，而 Wanda-channel 为 989.2。LP 集中模式在 Mistral-7B、Llama-2-7B 和 Qwen2-7B 中可见，在针对性 Llama-3.1-70B 实验中仍可见，且在 OLMo-2-7B 预训练期间呈增强趋势。这些结果表明 LLM FFN 发展出小型学习核心的损失关键通道，保护这一核心对可靠的结构化剪枝至关重要。
关键词
引用
@article{arxiv.2604.23475,
title = {Supernodes and Halos: Loss-Critical Hubs in LLM Feed-Forward Layers},
author = {Audrey Cherilyn and Houman Safaai},
journal= {arXiv preprint arXiv:2604.23475},
year = {2026}
}