过滤优于微调：基于贝叶斯卡尔曼视角的LLM内在学习

我们提出了一个以理论为导向的框架，将大型语言模型（LLM）中的推理时适应解释为在线贝叶斯状态估计。我们不将快速适应建模为隐式优化或元学习，而是将任务和上下文特定的学习形式化为由低维潜在适应状态的序列推断，该状态受线性化状态空间模型控制。在高斯假设下，适应遵循卡尔曼递推，具有闭式后验均值和协方差更新。该视角将epistemic不确定性提升为显式的动力学变量。我们指出，推理时学习由协方差收缩驱动，即由信息丰富标记引起的后验不确定性快速收缩，这通常 precedes posterior均值的收敛。利用标记级雅可比矩阵的可观测性条件，我们建立了贝叶斯滤波的稳定性，证明了指数协方差收缩速率，并导出均方误差界。梯度下降、自然梯度方法和元学习更新均 arising as filtering dynamics的singular、noise-free limits，将基于优化的适应定位为贝叶斯推断的退化近似。 resulting theory为in-context learning、parameter-efficient adaptation和test-time learning（无需参数更新）提供了统一的概率账户。它yield explicit guarantees on stability and sample efficiency, offers principled interpretation of prompt informativeness via information accumulation, and clarifies uncertainty dynamics在现有论述中所缺失的作用。minimal illustrative experiments corroborate the theory的定性预测。