低温 regime 中均值场变换器的浓度现象定量分析

具有自注意力模块作为核心组件的变换器已成为现代大型语言和基础模型中不可或缺的架构。本文研究深度编码器式变换器在推理时令牌的演化，其在大令牌极限下由均值场连续方程描述。借助多粒子相互作用系统的收敛分析，其中粒子对应令牌，我们证明令牌分布在初始分布在由关键、查询和值矩阵诱导的投影映射的推送前沿上快速浓缩，并在适中时间内保持亚稳态。具体而言，我们表明两分布的 Wasserstein 距离随温度参数 $\beta^{-1}\to 0$ 和推理时间 $t\geq 0$ 的表达式为 $\sqrt{{\log(\beta+1)}/{\beta}}\exp(Ct)+\exp(-ct)$。为证明此点，我们建立零温度方程的 Lyapunov 型估计，识别其极限作为 $t\to\infty$，并运用 Wasserstein 空间中的稳定性估计结合定量 Laplace 原理将两方程耦合。我们的结果表明，时间尺度为 $\log\beta$ 时，令牌分布浓缩于识别出的极限分布。数值实验确认这一点，并进一步表明对于有限 $\beta$ 和大 $t$，动力学进入另一种终端相，由值矩阵的谱主导。