为何逐步思考？推理源于经验的局部性

人类拥有强大而神秘的推理能力。通过一系列心理步骤进行推演，使我们能够做出无法直接做出的推断，尽管我们从世界中并未获得额外数据。类似地，当大语言模型在回答问题前生成中间步骤（思维链）时，它们往往比直接回答产生更好的答案。我们探究了语言模型中思维链推理为何及如何起作用，检验了如下假设：当训练数据由相互强烈影响的重叠局部变量簇构成时，推理是有效的。这些训练条件使得准确局部推断的链式组合能够估计训练时未共同出现的变量间关系。我们证明，对于在链结构概率模型局部样本上训练的自回归密度估计器的简单情形，将存在“推理鸿沟”，即通过中间变量推理可降低偏差。随后我们在更复杂的模型中实验检验该假设，在贝叶斯网样本上训练自回归语言模型，但每个样本仅包含变量的一个子集。我们测试了语言模型在有和无中间推理步骤时匹配条件概率的能力，发现中间步骤仅在训练数据相对于变量间依赖关系具有局部结构时才有帮助。局部结构化观测与推理的结合比在所有变量上训练更具数据效率。我们的结果阐明了逐步推理的有效性根植于训练数据的局部统计结构。