Transformer 注意力的贝叶斯几何

Transformer 似乎在上下文中执行贝叶斯推断，但严格验证这一点一直不可能：自然数据缺乏解析后验，大型模型会将推理与记忆混合。我们通过构建贝叶斯风洞来解决这一问题——受控环境中已知真实后验且可证明不可能发生记忆。在这些设置下，小型 Transformer 能以 $10^{-3}$-$10^{-4}$ 位的精度复现贝叶斯后验，而容量相当的 MLP 失败于数个数量级，建立了清晰的架构分离。跨两个任务——双射消除和隐藏马尔可夫模型（HMM）状态跟踪——我们发现 Transformer 通过一致的几何机制实现贝叶斯推断：残差流作为信念基质，前馈网络执行后验更新，注意力提供内容可寻址路由。几何诊断揭示了正交键基、渐进的查询-键对齐以及由后验熵参数化的低维值流形。在训练期间，该流形展开而注意力模式保持稳定，一种由最近梯度分析预测的“帧精度解耦”。综上，这些结果表明，层次注意力通过几何设计实现贝叶斯推断，解释了注意力的必要性以及平坦架构的失败。贝叶斯风洞为将小型可验证系统与大型语言模型中观察到的推理现象建立机械联系提供了基础。