熵与重要性的统一：面向稳定高效Transformer剪枝的头部重要性-熵评分
计算与语言
2026-02-03 v2 人工智能
机器学习
摘要
Transformer模型在NLP任务中取得了显著性能。然而，其结构特征——多层和多个注意力头——在推理和部署中引入了效率挑战。为应对这些挑战，近期提出了多种剪枝方法。特别地，基于梯度的头部重要性评分（Head Importance Scores, HIS）因其可解释性、效率和识别冗余头的能力而受到关注。然而，HIS单独使用存在局限性，因为它仅捕捉了梯度驱动的贡献，忽略了注意力模式的多样性。为克服这些局限，我们引入了一种新的剪枝准则HIES（Head Importance-Entropy Score），将头部重要性评分与注意力熵相结合，为每个头的贡献提供互补证据。实验表明，基于HIES的剪枝在模型质量上实现了高达15.2%的提升，在稳定性上实现了2.04倍的提升，显著压缩模型的同时不牺牲准确性或稳定性。代码将在发表后公开。
引用
@article{arxiv.2510.13832,
title = {Entropy Meets Importance: A Unified Head Importance-Entropy Score for Stable and Efficient Transformer Pruning},
author = {Minsik Choi and Hyegang Son and Changhoon Kim and Young Geun Kim},
journal= {arXiv preprint arXiv:2510.13832},
year = {2026}
}
备注
38 pages