中等相互作用机制下平均场 Transformer 的多尺度分析

本文通过将 token 建模为以平均场方式相互作用的粒子系统并研究其相应的动力学，研究了在推理阶段仅编码器 Transformer 模型中 token 随深度的演化。更具体地，我们在中等相互作用机制下考虑该问题，其中 token 数量 $N$ 很大，且模型的逆温度参数 $\beta$ 与 $N$ 一起缩放。在该机制下，系统的动力学表现出多尺度行为：一个快相，token 经验测度坍缩到低维空间；一个中间相，该测度进一步坍缩成簇；以及一个慢相，这些簇依次合并为一个单一的簇。我们对每个相中的极限动力学进行了严格的刻画，并证明了在上述极限中的收敛性，通过一些仿真示例说明了我们的结果。