自注意力的底层结构：Transformer训练中的对称性、方向性与涌现动力学
机器学习
2025-06-04 v2
摘要
自注意力是Transformer架构的核心组成部分，但信息如何嵌入自注意力矩阵中以及不同的目标函数如何影响这一过程仍不清楚。我们提出了一种数学框架，通过推导支配其权重更新的结构来分析自注意力矩阵。利用该框架，我们证明了双向训练会在权重矩阵中诱导对称性，而自回归训练则产生方向性和列主导性。我们的理论发现在多个Transformer模型（包括ModernBERT、GPT、LLaMA3和Mistral）以及文本、视觉和音频等多种输入模态上得到了验证。最后，我们通过展示对称初始化能够提升仅编码器模型在语言任务上的性能来应用这些见解。这项数学分析为信息如何通过自注意力嵌入提供了新的理论视角，从而提高了Transformer模型的可解释性。
引用
@article{arxiv.2502.10927,
title = {The underlying structures of self-attention: symmetry, directionality, and emergent dynamics in Transformer training},
author = {Matteo Saponati and Pascal Sager and Pau Vilimelis Aceituno and Thilo Stadelmann and Benjamin Grewe},
journal= {arXiv preprint arXiv:2502.10927},
year = {2025}
}