NumGLUE：一套基础却具挑战性的数学推理任务集
计算与语言
2022-04-13 v1 人工智能
机器学习
摘要
鉴于文本中数字的普遍性，利用数字进行推理以完成简单计算是AI系统的一项重要技能。尽管为此已开发了许多数据集与模型，但最先进的AI系统仍很脆弱；当底层数学推理出现在略微不同的场景中时，它们便无法胜任。受自然语言理解背景下提出的GLUE的启发，我们提出NumGLUE，一个多任务基准，用于评估AI系统在八个不同任务上的表现，这些任务的核心都需要简单的算术理解。我们表明，该基准远未被神经模型解决，包括最大规模语言模型在内的神经模型表现显著逊于人类（低46.4%）。此外，NumGLUE促进了任务间的知识共享，尤其是在训练数据有限的任务中，这一点在联合训练所有任务相对于任务特定建模所带来的更优表现（各任务平均提升3.4%）中得到印证。最后，我们希望NumGLUE能激励在语言内执行稳健且通用的算术推理的系统，这是迈向能够执行更复杂数学推理的第一步。
引用
@article{arxiv.2204.05660,
title = {NumGLUE: A Suite of Fundamental yet Challenging Mathematical Reasoning Tasks},
author = {Swaroop Mishra and Arindam Mitra and Neeraj Varshney and Bhavdeep Sachdeva and Peter Clark and Chitta Baral and Ashwin Kalyan},
journal= {arXiv preprint arXiv:2204.05660},
year = {2022}
}
备注
ACL 2022