权重调整梯度揭示大语言模型中的参数重要性与失败模式

理解大语言模型（LLM）中哪些参数具有影响力，对于提高其效率、可靠性和可解释性至关重要。我们引入了权重调整梯度（WAG），这是一种简单而有效的参数重要性估计方法，它显式地捕获了模型权重与一阶梯度信息之间的交互，并识别出对模型行为产生不成比例影响的参数，例如那些导致 LLM 崩溃现象的参数。在一系列模型和设置中，我们表明 WAG 能够揭示一个微小但关键的参数子集，修改这些参数会导致性能急剧下降，这是一种现有重要性指标所忽视的失败模式。这些发现揭示了权重与梯度之间先前未被充分探索的相互作用，表明仅通过任一信号都无法完全理解参数重要性。WAG 惊人的有效性指向了训练网络的基本结构特性，并引发了关于零阶和一阶信息在深度学习中作用的新开放性问题。我们展示了 WAG 在多种应用中的实用性，包括混合专家架构中的专家分配、参数特定遗忘、混合精度量化以及知识编辑的层选择。我们的结果将 WAG 定位为分析、调试和控制 LLM 的统一方法，并为原则性的模型级解释开辟了新方向。