引入背景温度以刻画大语言模型中隐藏随机性

即使在 $T=0$ 的解码条件下，大语言模型（LLM）也可能为相同的输入产生不同的输出。Thinking Machines Lab 的近期工作指出，批次大小变化、核函数非不变性以及浮点数非关联性等实现层面的源因会导致这种非确定性。在本短文中，我们通过引入 \emph{背景温度} $T_{\mathrm{bg}}$ 的概念来形式化这一行为，这是即使名义上 $T=0$ 时仍由实现相关扰动过程引起的有效温度。我们提供清晰的定义，阐明 $T_{\mathrm{bg}}$ 与由推理环境 $I$ 控制的随机扰动的关系，并提出一种通过理想参考系统的等效温度 $T_n(I)$ 来估计 $T_{bg}$ 的经验协议。我们随后对来自主要 LLM 提供商的代表性样本进行若干试验，旨在展示该概念并阐述其对可重复性、评估和部署的影响。