前瞻限制：为什么LLM在多操作数加法中受限
计算与语言
2025-02-28 v1
摘要
自回归大语言模型（LLM）在各种任务中表现突出，但在简单算术（如两或更多操作数的加法）方面存在困难。我们表明，这种困难源于LLM使用简单的单位数前瞻启发式方法，该方法对两操作数加法相当不错（但并非完美），但在多操作数情况下失败，因而 carries逻辑更为复杂。我们的探针实验和逐位准确率评估表明，LLM恰在其中一个单位数前瞻不足以 account for cascading carries时失败。我们分析了分词策略对算术性能的影响，证明所有研究的模型，无论分词方式如何，都因其依赖单位数前瞻启发式方法而在多操作数加法中存在根本性限制。我们的发现揭示了阻止LLM从更复杂数值推理的基本限制。
引用
@article{arxiv.2502.19981,
title = {The Lookahead Limitation: Why Multi-Operand Addition is Hard for LLMs},
author = {Tanja Baeumel and Josef van Genabith and Simon Ostermann},
journal= {arXiv preprint arXiv:2502.19981},
year = {2025}
}
备注
Pre-print