SAP：基于语法注意力修剪的Transformer语言模型
计算与语言
2025-12-23 v1 机器学习
摘要
本文提出Syntactic Attention Pruning（SAP），一种有效修剪Transformer模型中注意力头的新方法。不同于仅依赖模型权重和激活数学分析的常规方法，SAP结合句子的语法结构和注意力模式来指导修剪过程。通过利用这些语言特征，SAP不仅在性能上与前沿方法相当，而且还提高了模型行为的可解释性。为进一步提高鲁棒性，我们提出了候选过滤（CF）机制，根据它们对模型性能的贡献来优先级排序，从而减轻修剪过程中的性能下降。实验结果表明，SAP有效地保留了大量强注意力值密度的关键注意力头，超过了现有头修剪策略在无再训练设置下的表现。这些发现将SAP定位为模型压缩研究的新方向的有前景的基础，提供了在所有基于Transformer的语言模型上进行修剪的高灵活性。
关键词
引用
@article{arxiv.2512.19125,
title = {SAP: Syntactic Attention Pruning for Transformer-based Language Models},
author = {Tzu-Yun Lee and Ding-Yong Hong and Jan-Jan Wu},
journal= {arXiv preprint arXiv:2512.19125},
year = {2025}
}