软最大注意力的不变量

软最大注意力将每个查询-键交互映射为概率分布，但其背后的结构仍基本未被探索。我们定义“能量场”，即以行为中心的注意力逻辑，证明其在模型、架构和输入方面 exhibits 不变量特性。两种不变量类出现。“机制级”不变量源于软最大注意力的代数结构而得出，包括每行零和约束、由头维度决定的秩上界，以及由此引申的谱特征。“模型级”规律并非由机制必需，却在我们测试的每个自回归语言模型中都成立，跨越多个架构家族。能量场在关键位置上对方差进行分布而非集中，这种去集中化可追溯于我们称为“key不一致性”的键矩阵属性。这一不变量具有实际意义。秩上界将能量场限制在低维子空间内。key不一致性产生每头训练监控器。所有结果在多个上下文长度和输入文本上均得到验证。