自注意力动力学在 Transformer 中的多稳定性

在机器学习中，自注意力动力学是一种基于 Transformer 注意力机制构建的连续时间多智能体模型。本文证明了这种动力学与与 Transformer 对应的价值矩阵的主特征向量计算的多智能体 Oja 流有关。我们将“单头”自注意力系统的平衡点分为四类：共识、二分共识、聚类和多边形平衡。前三类的多个渐近稳定平衡点常常共存于自注意力动力学中。有趣的是，前两类的平衡点始终与价值矩阵的特征向量对齐，常常但并非总是与主特征向量对齐。