揭示链路思考提示方法的统计基础

链路思考（Chain-of-Thought, CoT）提示及其变体因利用预训练大语言模型（LLM）解决多步骤推理问题而日益受到关注。本文从统计估计视角分析CoT提示，系统阐述其样本复杂度。为此，我们引入一种多步骤潜在变量模型来封装推理过程，其中潜在变量编码任务信息。在该框架下，我们证明当预训练数据集足够大时，由CoT提示构成的估计器等价于贝叶斯估计器。该估计器通过聚合来自提示中演示示例推断的后验分布，有效解决了多步骤推理问题。此外，我们证明CoT估计器的统计误差可分解为两个主要组成部分：（i）由CoT提示推断真实任务而产生的提示误差；（ii）预训练LLM的统计误差。我们在适当假设下证明，随着演示示例数量增加，提示误差指数衰减地趋于零。进一步，我们明确刻画了预训练LLM的近似误差和泛化误差。值得注意的是，我们构建的Transformer模型可以误差随Transformer块数指数衰减的方式近似多步骤推理问题的目标分布。我们的分析扩展至其他CoT变体，包括自洽链路思考、树状思考和选择-推理，提供了这些方法广泛有效性的视角。我们还提供数值实验以验证理论发现。