基于数字分解评估 Transformer 语言模型的算术运算能力
计算与语言
2023-04-24 v1 机器学习
摘要
近年来，诸如 GPT-3 之类的大语言模型（LLM）在零样本和少样本设置下执行 NLP 任务方面展现出非凡能力。另一方面，实验凸显了 GPT-3 在从事需要一定程度推理的任务（如算术运算）时的困难。在本文中，我们评估了 Transformer 语言模型在执行算术运算方面的能力，所遵循的流程为：在执行计算前将数字分解为个位、十位等。我们将用此流程微调后的模型命名为 Calculon，并在 GPT-3 所用的相同测试集上测试它们执行加法、减法和乘法的任务。结果显示，在五位数加法任务中准确率提升了 63%。此外，我们证明了所引入分解流程的重要性，因为在不分解数字的情况下微调同一语言模型导致五位数加法任务准确率为 0%。
引用
@article{arxiv.2304.10977,
title = {Evaluating Transformer Language Models on Arithmetic Operations Using Number Decomposition},
author = {Matteo Muffo and Aldo Cocco and Enrico Bertino},
journal= {arXiv preprint arXiv:2304.10977},
year = {2023}
}
备注
7 pages, 1 figure, published at LREC 2022