IGC：将带门控计算器集成到 LLM 中以可靠且高效地解决算术任务
机器学习
2025-01-03 v1 计算与语言
摘要
解决算术任务是一种简单且基础的技能，但现代大型语言模型 (LLM) 在这方面存在很大困难。我们引入集成门控计算器 (IGC)，该模块使 LLM 能够通过在 GPU 上模拟计算器来执行算术运算。我们对 Llama 模型进行微调并加入该模块，在 BigBench 算术基准测试中取得优异成绩，凌驾于所有 SOTA 模型，包括几乎大两倍大小的模型。我们的方案仅需一次迭代即可运行，无需外部工具。它在 LLM 内部完全执行算术运算，无需生成中间 token。该方法计算高效、可解释，且不会对不需要算术运算的任务产生副作用。它可靠地在多个训练运行中以及所有子任务上实现 98%至 99% 的准确率，包括之前尚未解决的难度较大的乘法子任务。
引用
@article{arxiv.2501.00684,
title = {IGC: Integrating a Gated Calculator into an LLM to Solve Arithmetic Tasks Reliably and Efficiently},
author = {Florian Dietz and Dietrich Klakow},
journal= {arXiv preprint arXiv:2501.00684},
year = {2025}
}