门控机制使注意力具备曲率：注意力几何表达差距

乘法门控在神经网络架构中广泛应用，最近被用于注意力层以提高大型语言模型的性能和训练稳定性。尽管门控注意力取得了成功，但其数学意义仍鲜为人知。我们通过将注意力输出建模为高斯分布的均值参数来研究注意力的几何结构，并分析其诱导的 Fisher-Rao 几何。我们指出，未门控注意力算子受限于因其仿射结构而致于固有平坦统计流形的限制，而乘法门控则实现了非平坦几何，包括不可在未门控设置下实现的正曲率流形。这些结果在未门控和门控注意力之间建立了几何表达差距。实验上，我们证明门控模型表现出更高的表示曲率，并在需要非线性决策边界的任务上表现出更好的性能，而在线性决策边界的任务上则没有一致的优势。此外，我们识别出曲率在组成下积累的结构性区间，形成系统的深度放大效应。