Transformer 动力学中的红外组织与临界认知场形成

大型语言模型展现出显著的涌现行为，但支配其集体动力学的物理机制仍知之甚少。认知场理论预测，学习通过慢弛豫模式的红外积累来重组时间尺度态密度（TDOS），从而增强记忆自能，降低认知遗忘间隙，并增强集体极化率。使用公开可用的 Pythia 语言模型，我们在整个训练、网络深度和模型规模中直接从 Transformer 层雅可比矩阵提取弛豫谱，从而允许对 TDOS、记忆自能、遗忘间隙、记忆核和红外临界指数进行定量测量。测量揭示了慢弛豫模式的渐进式红外积累，产生了近似平坦的红外 TDOS（$\rho(\lambda)\sim\lambda^{-0.1}$）和无标度记忆核（$K(t)\sim t^{-1}$）。记忆自能在早期优化期间表现出显著的瞬态最大值，随后弛豫向近临界亚稳态，对应于认知场理论预测的最小认知遗忘间隙和最大集体极化率。这些观察提供了 Transformer 动力学受红外集体组织支配的定量实验证据。在训练、网络深度和模型规模中重现相同的动力学行为表明，红外慢模式组织代表了 Transformer 动力学的普遍集体原理。