SAS：模拟注意力得分
计算与语言
2025-11-26 v2
摘要
注意力机制是Transformer架构的核心组件。已develop出各种方法来计算注意力得分，包括多头注意力(MHA)、多查询注意力、群查询注意力等。我们进一步分析MHA，发现注意力头数量增加时性能提升，前提是每个头的隐藏尺寸足够大。因此，在参数开销最小化的前提下，同时增加头数和每个头的隐藏尺寸可导致显著性能提升。基于此洞见，我们引入模拟注意力得分(SAS)，通过将低维头表示投影到更高维空间，从而在不增加参数数量的前提下模拟更多注意力头和每个头的更高特征维度，从而提升注意力容量。除头表示外，我们进一步将该仿真方法扩展到键和查询嵌入的特征维度，通过模仿更大模型的行为来增强可表达性，同时保持原始模型大小。为控制参数成本，我们还提出参数高效注意力聚合(PEAA)。在多样化数据集和任务上的全面实验表明，所提出的SAS方法有效，显著优于各种注意力变体。
关键词
引用
@article{arxiv.2507.07694,
title = {SAS: Simulated Attention Score},
author = {Chuanyang Zheng and Jiankai Sun and Yihang Gao and Yuehao Wang and Peihao Wang and Jing Xiong and Liliang Ren and Hao Cheng and Janardhan Kulkarni and Yelong Shen and Atlas Wang and Mac Schwager and Anderson Schneider and Xiaodong Liu and Jianfeng Gao},
journal= {arXiv preprint arXiv:2507.07694},
year = {2025}
}
备注
Tech Report