Transformer 的均值场动力学

我们发展了一种数学框架，将 Transformer 注意力解释为相互作用粒子系统，并研究其连续（均值场）极限。通过对球面上的注意力进行理想化，我们将 Transformer 动力学与 Wasserstein 梯度流、同步模型（Kuramoto）以及均匀移位聚类相联系。我们的结果的核心是，标记在长时间的 metastable 状态后会聚集到全局簇中。我们进一步分析了可解析的等角约化以获得精确的聚类速率，表明常用归一化方案如何改变收敛速度，并识别了长情境注意力的相变。这些结果揭示了驱动表示坍缩的机制以及保持深层注意力架构中具有表达性、多簇结构的条件。