检测和表征语言模型中的计划行为

现代大型语言模型 (LLM) 在广泛的多步骤推理任务中展现出惊人的性能。最近的研究表明，LLM 可能进行计划——即提前选择未来目标 token 并生成导向其的中间 token——而不仅仅是逐个 token improvisation。然而，现有研究假设固定的计划视野，常关注单个提示或狭窄领域。为在不同模型和任务之间区分计划与 improvisation，我们提出了用于检测计划的形式化和因果依据的准则，并将其 operationalize 为半自动化标注管道。我们将此管道应用于 base 和 instruction-tuned 的 Gemma-2-2B 模型，分别在 MBPP 代码生成基准和诗歌生成任务上测试（Claude 3.5 Haiku 之前被证明具有计划）。我们的发现表明，计划并非普遍存在：与 Haiku 不同，Gemma-2-2B 通过 improvisation 解决相同的诗歌生成任务；在 MBPP 上，它在相似任务甚至连续的 token 预测之间切换计划与 improvisation。我们进一步表明，指令调谋主要是优化 base 模型中已有的计划行为，而非从头创建计划行为。总体而言，这些研究为 LLM 中计划的机制性研究提供了可复现且可扩展的基础。