模块运算：语言模型逐位解决数学问题
计算与语言
2025-08-05 v1 人工智能
摘要
虽然近期研究开始揭示大型语言模型（Large Language Models, LLMs）在执行简单算术任务时所采用的内部策略，但其 underlying mechanisms 的统一理解仍缺乏。我们延续近期研究发现，表明LLMs以数字位方式表示数字的证据，并呈现了数字位置特定电路（digit-position-specific circuits）的存在证据，这些电路是LLMs用于执行简单算术任务（即作用于不同数字位置（units, tens, hundreds）的独立运作的 MLP 神经元的子模块）所必需的。值得注意的是，这些电路的存在独立于模型大小和分词策略，即对于编码更长数字逐位的数字的模型以及作为一个 token 的模型均如此。我们运用特征重要性和因果干预方法，识别并验证了数字位置特定电路，揭示了解决算术问题在LLMs中具有组成性和可解释结构的底层机制。我们的干预在特定的数字位置有针对性地改变模型的预测，展示了数字位置电路在解决算术任务中起因果作用的证据。
引用
@article{arxiv.2508.02513,
title = {Modular Arithmetic: Language Models Solve Math Digit by Digit},
author = {Tanja Baeumel and Daniil Gurgurov and Yusser al Ghussin and Josef van Genabith and Simon Ostermann},
journal= {arXiv preprint arXiv:2508.02513},
year = {2025}
}