从链到有向无环图：探究大语言模型中推理的图结构
计算与语言
2026-04-07 v2
摘要
大语言模型的最新进展重新激发了人们对多步推理如何在内部进行表征的兴趣。虽然先前的工作通常将推理视为线性链，但许多推理问题更自然地建模为有向无环图（DAG），其中中间结论会分支、合并并被重用。这种图结构是否反映在模型内部仍不清楚。我们引入了推理有向无环图探测（Reasoning DAG Probing）框架，用于测试大语言模型隐藏状态是否线性编码了底层推理有向无环图的属性，以及这种结构在哪些层出现。我们将每个推理节点与一个文本实现相关联，并训练轻量级探针从隐藏状态中预测节点深度、成对距离和邻接关系。利用这些探针，我们分析了有向无环图结构在各层的出现情况，重建了近似的推理图，并评估了那些在保留表面文本的同时破坏推理相关结构的控制实验。在多个推理基准测试中，我们发现大语言模型表征中有意义地编码了有向无环图结构，其可恢复性在中间层达到峰值，并随节点深度、边跨度和模型规模系统性地变化，从而能够实现依赖图的非平凡恢复。这些发现表明，大语言模型的推理并非纯粹是顺序性的，而是表现出可测量的内部图结构。
引用
@article{arxiv.2601.17593,
title = {From Chains to DAGs: Probing the Graph Structure of Reasoning in LLMs},
author = {Tianjun Zhong and Linyang He and Nima Mesgarani},
journal= {arXiv preprint arXiv:2601.17593},
year = {2026}
}