走向语言模型中演绎推理的机制性解释
人工智能
2025-10-13 v1 计算与语言
摘要
近期大语言模型在解决需要逻辑推理的问题方面展示了相关能力，但相应的内部机制仍 largely 未被探索。在本文中，我们表明一个小语言模型可以通过学习底层规则（而非作为统计学习器运作）来解决演绎推理任务。随后提供了其内部表示和计算电路的低层解释。我们的发现揭示归纳头在实现任务所需的逻辑推理中的规则补全和规则链式推理步骤中起着核心作用。
引用
@article{arxiv.2510.09340,
title = {Toward Mechanistic Explanation of Deductive Reasoning in Language Models},
author = {Davide Maltoni and Matteo Ferrara},
journal= {arXiv preprint arXiv:2510.09340},
year = {2025}
}