剪枝即协作游戏：用于大型语言模型的代理辅助图层贡献估计
计算与语言
2026-02-10 v1 人工智能
摘要
虽然大型语言模型（LLM）在各类任务上表现突出，但受限于高计算需求，在实际场景中仍受到约束。图层级剪枝是常用策略，可部分缓解此挑战。然而，现有方法通常依赖静态启发式规则，未能考虑图层之间的相互依赖，从而限制了剪枝效果。为此，本文提出一种博弈论框架，将图层剪枝表述为合作博弈，其中每个图层作为一方，模型性能作为效用。由于对大型语言模型（LLM）直接计算 Shapley 值在计算上不可行，我们提出使用轻量级代理网络来估计图层级的边际贡献。该网络可以低计算成本预测任意图层组合的 LLM 性能。此外，我们采用分层蒙特卡罗掩码采样进一步降低 Shapley 值估计成本。该方法捕捉图层间依赖，动态识别剪枝中的关键图层。大量实验表明，我们的方法在 perplexity 和零样态准确率方面均显著优于现有方法，实现了对大型语言模型的更高效、更有效的图层级剪枝。
引用
@article{arxiv.2602.07804,
title = {Pruning as a Cooperative Game: Surrogate-Assisted Layer Contribution Estimation for Large Language Models},
author = {Xuan Ding and Pengyu Tong and Ranjie Duan and Yunjian Zhang and Rui Sun and Yao Zhu},
journal= {arXiv preprint arXiv:2602.07804},
year = {2026}
}
备注
Accepted by ICLR 2026