语言模型中的认知地图：空间规划的机械分析
人工智能
2025-11-18 v1
摘要
大型语言模型如何解决空间导航任务？ 我们通过在网格环境中训练 GPT-2 模型来研究这一问题，采用三种空间学习范式：被动探索 (Foraging Model - 在随机行走中预测步数)、目标导向规划 (生成最优最短路径) 在结构化哈密顿路径上 (SP-Hamiltonian)，以及使用探索数据微调的混合模型 (SP-Random Walk)。 通过行为、表征和机械分析，我们发现两种根本不同的学习算法。 Foraging 模型发展出稳健的、类似于“认知地图”的空间表示。 因果干预揭示，它学习将空间信息整合到自足坐标系中，表现为其对历史方向标记的依赖在网络中层逐渐消失的尖锐相位转变。 模型还采用自适应的、层次化的推理系统，在短上下文和长上下文之间切换，使用低层启发式和基于地图的推理。 相比之下，目标导向模型学习的是路径依赖的算法，在所有层面上都依赖于显式的方向输入。 尽管混合模型在一般化方面优于其父模型，但仍保留了相同的路径依赖策略。 这些发现表明，语言模型的空间智能可能呈现一种光谱，从由探索数据塑造的通用世界模型到为目标导向任务优化的启发式。 我们提供了这种一般化-优化权衡的机械解释，突出了训练范式如何影响所学策略的选择。
引用
@article{arxiv.2511.13371,
title = {Cognitive Maps in Language Models: A Mechanistic Analysis of Spatial Planning},
author = {Caroline Baumgartner and Eleanor Spens and Neil Burgess and Petru Manescu},
journal= {arXiv preprint arXiv:2511.13371},
year = {2025}
}