大型语言模型输出分布中的相变

在物理系统中，改变温度等参数可以引发相变：物质状态从一个状态到另一个状态的突变。最近在大型语言模型中也观察到了类似的现象。通常，识别相变的任务需要人工分析和对系统的一些先验理解，以缩小需要监测和分析的低维属性的范围。物理学界最近提出了从数据中自动检测相变的统计方法。这些方法在很大程度上与系统无关，并且如本文所示，可以适用于研究大型语言模型的行为。特别地，我们通过统计距离来量化生成输出中的分布变化，这些统计距离可以在访问下一个词元的概率分布时被有效估计。这种通用方法能够发现新的行为相和未探索的转变——鉴于语言模型的快速发展及其涌现能力，这种能力尤其令人兴奋。