变换器热力学同构：基于拉格朗日的注意力动力学

我们提出了一个有效的场论框架，用于通过热力学视角分析Transformer注意力机制。通过在配备Fisher度量的信息流形上构建拉格朗日函数，我们显示在Shannon-Boltzmann熵框架内，Softmax函数作为最小化Helmholtz自由能泛函的平稳解。这在形式上建立了scaled dot-product注意力与canonical ensemble统计之间的对应关系。将此映射扩展到宏观可观测量，我们定义了与注意力能量景观波动相关的有效比热。在p=19--113的模块加法任务上的受控实验中，我们观察到这种波动测度呈现稳健的峰值，这一峰值始终在泛化开始前出现。尽管在有限深度范围内未检测到渐近幂律发散，但可重现的能量方差增强暗示着代表性重组伴随一种类临界行为。我们的框架提供了一种统一的统计力学视角，解释注意力比例、训练动力学和位置编码现象，将其解释为有效热力学系统的涌现性质，而非孤立的经验法则。虽然当前结果表明有限尺度的横断面行为而非严格相变，但它们激励进一步通过基于波动的可观测量探索深层架构的比例极限。