LLM 中贝叶斯推断的几何缩放
机器学习
2026-05-19 v5 人工智能
摘要
近期工作表明，在受控的“风洞”设置中训练的小型 Transformer 可以实现精确的贝叶斯推断，且其训练动态产生了一种几何基底——低维值流形和逐渐正交的键——该基底编码了后验结构。我们研究这种几何特征是否在生产级语言模型中持续存在。在 Pythia、Phi-2、Llama-3 和 Mistral 家族中，我们发现最后一层的值表示沿着单一主轴组织，其位置与预测熵强相关；且受领域限制的提示词将此结构坍缩为与合成设置中观察到的相同的低维流形。为探究这种几何的作用，我们在 Pythia-410M 的上下文学习期间对其熵对齐轴进行了定向干预。移除或扰动该轴会选择性破坏局部不确定性几何，而匹配的随机轴干预则保持其完整。然而，这些单层操作并未在类贝叶斯行为中产生成比例的特定退化，表明该几何是不确定性的特权读出，而非唯一的计算瓶颈。总而言之，我们的结果表明，现代语言模型保留了在风洞中实现贝叶斯推断的几何基底，并沿此基底组织其近似贝叶斯更新。
引用
@article{arxiv.2512.23752,
title = {Geometric Scaling of Bayesian Inference in LLMs},
author = {Naman Agarwal and Siddhartha R. Dalal and Vishal Misra},
journal= {arXiv preprint arXiv:2512.23752},
year = {2026}
}
备注
v2: Extend cross-architecture analysis with Qwen2.5 and DeepSeek (MLA) families; add SULA and RoPE-channel results; document MLA boundary case (DeepSeek-V2-Lite: substrate preserved, dynamic routing absent); add dual-entropy framework at scale; fix duplicate bibliography entries