MI-PRUN：基于相互信息的大型语言模型剪枝优化方法
计算与语言
2026-01-13 v1
摘要
大型语言模型（LLM）已在各个领域中发挥至关重要的作用，但其带来了巨大的计算和内存资源消耗。模型剪枝通过移除模型中冗余组件来缓解这一问题。特别是块级剪枝能够实现显著的压缩和推理加速。然而，现有的块级剪枝方法往往不够稳定，难以达到全局最优解。本文提出了一种基于相互信息的剪枝方法MI-PRUN，用于大型语言模型。具体而言，我们利用相互信息来识别冗余模块，通过评估隐藏状态的变化来判断。此外，我们引入数据处理不等式（DPI），揭示了整个连续块重要性与单个块重要性之间的关系。我们还发展了Fast-Block-Select算法，该算法迭代更新块的组合，以实现全局最优解，同时显著提高效率。广泛的实验在各种模型和数据集上都表明，我们的方法在稳定性和有效性方面表现出色。
引用
@article{arxiv.2601.07212,
title = {MI-PRUN: Optimize Large Language Model Pruning via Mutual Information},
author = {Hao Zhang and Zhibin Zhang and Guangxin Wu and He Chen and Jiafeng Guo and Xueqi Cheng},
journal= {arXiv preprint arXiv:2601.07212},
year = {2026}
}
备注
10 pages