语言模型中的内部规划：视界与分支感知的表征

仅解码器语言模型在规划方面的参与程度，即组织中间计算以支持连贯的长程生成，仍然是一个重要问题，对可解释性、可靠性和有原则的模型设计具有深远影响。规划涉及在长视界上构建计算，并考虑多种可能的延续，但基于Transformer的语言模型在没有外部支架（例如思维链提示）的情况下能在多大程度上展现这些能力，尚不清楚。我们通过分析Transformer计算核心的隐藏状态来解决这些问题，这些隐藏状态捕获中间结果并充当信息载体。由于这些隐藏表示是冗余的且充斥着细粒度细节，我们开发了一个基于向量量化变分自编码器的流水线，将其压缩为紧凑的摘要代码。这些代码能够测量互信息并分析底层模型行为的计算结构。利用这一框架，我们在合成语法、寻路任务和自然语言数据集上研究了语言模型中的规划，重点关注两个规划属性：预输出计算的规划视界，以及模型考虑替代有效延续的程度。作为同一流水线的独立下游应用，我们还分析了在生成下一个Token预测时，与决策相关的信息如何跨层和更早的前缀块分布。综合来看，这些分析推进了我们对语言模型中规划的理解，并提供了一个用于检查模型内部动态的通用流水线。我们的结果显示，有效的规划视界是任务依赖的，模型隐式地保留了关于未使用的正确延续的信息，并且预测主要依赖于最近的计算，尽管更早的块仍然提供信息。