解开大型语言模型中的算术：代数结构的作用
机器学习
2025-04-22 v3 计算与语言
摘要
大型语言模型 (LLM) 已在链律思考 (CoT) 提示下展现出惊人的数学能力，该方法通过分解为逐步解决方案来实现复杂推理。此举在 GSM8K 和 MATH 等基准测试上取得显著进展。然而，LLM 完成 CoT 单步算术运算的机制仍不为人知。现有研究争论 LLM 是编码数值还是依赖符号推理，或探索注意力和多层处理在算术任务中的作用。在本工作中，我们提出 LLM 通过捕获代数结构（如交换性和同一性）来学习算术。由于这些结构可通过输入输出关系观察，其可泛化到未见数据。我们经验性地演示 LLM 使用自定义算术问题数据集学习代数结构，并提供理论证据表明，在特定权重和偏置配置下，基于转换器的 LLM 可生成对输入标记置换和同一元素存在保持不变的嵌入。我们的发现表明，利用代数结构可增强 LLM 的算术能力，为改进其算术性能提供启示。
引用
@article{arxiv.2411.16260,
title = {Unraveling Arithmetic in Large Language Models: The Role of Algebraic Structures},
author = {Fu-Chieh Chang and You-Chen Lin and Pei-Yuan Wu},
journal= {arXiv preprint arXiv:2411.16260},
year = {2025}
}