开启黑箱：大型语言模型多步骤推理机制综述
计算与语言
2026-01-22 v1 人工智能
摘要
大型语言模型（LLMs）已展现出解决需要多步骤推理问题的能力，但其内部机制仍不为人知。与现有聚焦于提升性能的工程方法的调查不同，本综述提供了 LLMs 多步骤推理背后机制的全面概述。我们围绕一个由七个相互关联的研究问题构成的概念框架组织综述：从 LLMs 在隐藏激活中执行隐式多跳推理，到言语化显式推理如何重塑内部计算。最后，我们指出未来机制研究的五个方向。
引用
@article{arxiv.2601.14270,
title = {Opening the Black Box: A Survey on the Mechanisms of Multi-Step Reasoning in Large Language Models},
author = {Liangming Pan and Jason Liang and Jiaran Ye and Minglai Yang and Xinyuan Lu and Fengbin Zhu},
journal= {arXiv preprint arXiv:2601.14270},
year = {2026}
}
备注
Technical Report