大规模计数在 LLM 中的系统-2 策略机械解释
计算与语言
2026-04-23 v2
摘要
大型语言模型（LLM）尽管在复杂数学问题上表现出色，但在计数任务中存在系统性局限。这一问题源于 Transformer 的架构限制，其中计数在各层之间进行，由于深度约束导致大型计数问题的精度下降。为解决这一限制，我们提出了一种受系统-2 认知过程启发的简单测试时策略，将大型计数任务分解为模型可可靠解决的较小独立子问题。我们采用观察性和因果中介分析来理解该系统-2 类策略的底层机制。我们的机械分析识别出关键组件：潜在计数在每个部分的最终项目表示中计算并存储，通过专用注意力头传递到中间步骤，然后在最终阶段聚合以产生总计数。实验结果表明，该策略使 LLM 超越架构限制，在大规模计数任务中实现更高准确率。本工作提供了关于 LLM 中系统-2 计数的机械见解，并提出了一种可通用的方法来提高和理解其推理行为。
引用
@article{arxiv.2601.02989,
title = {Mechanistic Interpretability of Large-Scale Counting in LLMs through a System-2 Strategy},
author = {Hosein Hasani and Mohammadali Banayeeanzade and Ali Nafisi and Sadegh Mohammadian and Fatemeh Askari and Mobin Bagherian and Amirmohammad Izadi and Mahdieh Soleymani Baghshah},
journal= {arXiv preprint arXiv:2601.02989},
year = {2026}
}
备注
ACL 2026