通过决策表征过渡理解层次剪枝大语言模型的性能崩溃
计算与语言
2026-05-11 v1 人工智能
摘要
层次剪枝高效降低大语言模型（LLM）的计算成本，但常引发突发性性能崩溃。现有的基于表示的分析难以解释此机制。我们提出通过决策表征来研究剪枝。聚焦多选任务，我们引入两个指标——决策间隙和选项频率，以及一种迭代剪枝方法，用于分析层次决策动力学。我们的发现揭示了一个尖锐决策过渡，将网络划分为两个阶段：静默阶段（模型尚无法预测正确答案），以及决定阶段（正确预测浮现）。我们还发现，剪枝决定阶段的影响最小，而剪枝静默阶段则引发即时性能崩溃，凸显其对结构性变化的极端敏感性。因此，我们得出结论，剪枝引发的崩溃源于扰乱静默阶段，阻止关键决策过渡的发生。
引用
@article{arxiv.2605.07271,
title = {Understanding Performance Collapse in Layer-Pruned Large Language Models via Decision Representation Transitions},
author = {Boyu Shi and Chang Liu and ChuanBao Gao and Xu Yang and Xin Geng},
journal= {arXiv preprint arXiv:2605.07271},
year = {2026}
}