Transformer 的动力学理论及其在中间位置的失效现象
偏微分方程分析
2026-05-12 v1 机器学习
概率论
摘要
我们研究的是自注意力动力学——即解码器 Transformer 的一种玩具模型——将其解释为非可交换的相互作用粒子系统。在三角因果依赖结构中应用累积展开，并借助 Glauber 微积分中的非层次方法来估计相关性，我们证明了定量的均值场极限结果以及相关性的下一阶表征。对于独立同分布且均匀分布的 token，极限相关方程可闭式求解，我们获得了对经验上所见的“失效于中间”现象的严格解释：作为源位置在提示词中函数的 token 检索轮廓呈 U 形，包含原位效应、复发效应以及一个唯一的内部最小值，在明确的小条件下。
引用
@article{arxiv.2605.09213,
title = {Kinetic theory for Transformers and the lost-in-the-middle phenomenon},
author = {Mitia Duerinckx and Borjan Geshkovski and Stefano Rossi},
journal= {arXiv preprint arXiv:2605.09213},
year = {2026}
}