大型语言模型状态动力学的比例规律
计算与语言
2025-05-22 v1 人工智能
摘要
大型语言模型（LLMs）正越来越多地用于需要内部状态跟踪的任务，但其建模状态转换动力学的能力仍不被充分理解。我们评估了 LLMs 捕获确定性状态动力学的程度，涵盖 3 个领域：盒子跟踪、抽象 DFA 序列和复杂文本游戏，每种都可形式化为有限状态系统。在各种任务中，我们发现随着状态空间大小的增加和稀疏转换的增加，下一状态预测准确率会下降。GPT-2 XL 在低复杂度设置下约达到 70% 的准确率，但当盒子数量或状态数超过 5 或 10 时，其准确率降至 30% 以下。在 DFA 任务中，Pythia-1B 当状态数 > 10 且转换 < 30 时无法超过 50% 的准确率。通过激活修补，我们识别了负责传递状态信息的注意力头：GPT-2 XL 第 22 层注意力头 20，以及 Pythia-1B 在第 10、11、12 和 14 层的注意力头。虽然这些注意力头成功地传递了相关状态特征，但行动信息未可靠地路由到最终标记，这表明状态-动作推理较弱。我们的结果表明，LLMs 中的状态跟踪源于下一标记注意力头的分布式相互作用，而非显式的符号计算。
引用
@article{arxiv.2505.14892,
title = {Scaling Laws for State Dynamics in Large Language Models},
author = {Jacob X Li and Shreyas S Raman and Jessica Wan and Fahad Samman and Jazlyn Lin},
journal= {arXiv preprint arXiv:2505.14892},
year = {2025}
}
备注
16 pages; 23 figures