规模引发隐式规划

大型语言模型(LLMs)能够完成看似需要规划的任务，如撰写连贯的叙事或编写功能性代码，而无需显式 verbalize计划；然而，它们是否隐式规划尚不为人知。本文定义隐式规划为当LLMs拥有内部规划表征时发生的情况：(1)导致生成特定未来标记或概念，(2)塑造前瞻上下文以授权该未来标记或概念。我们研究了Qwen-3系列(0.6B-14B)在简单规划任务上的表现，发现规模越大，隐式规划能力越强。那些具有规划能力的模型拥有表示计划之词（如"accountant"）的特征，并导致其输出"an"而非"a"；此外，尽管Qwen-3 4B-8B效果较差，但仍具备初步的规划机制。在更复杂的押韵对句任务中，我们发现模型常在提前识别押韵，但即便是大型模型也很少提前规划。然而，当引导模型针对计划词进行 prose 规划时，可诱发一些随规模增长的规划。总之，我们提供了衡量规划及其机制证据的框架，说明模型的规划能力随规模增长。