迈向与问题格式无关的数值推理：一组前置任务

数值推理对于准确理解世界往往十分重要。近来，已提出若干特定格式的数据集，例如自然语言推理（NLI）、阅读理解（RC）和问答（QA）设定下的数值推理。针对这些数据集也提出了若干特定格式的模型与架构。然而，亟需一个能够评估模型在执行与问题格式无关的数值推理方面能力的基准，因为（i）我们想要传授的数值推理能力不受问题格式控制，（ii）为使数值推理技术获得最佳可能的应用，它必须能够以不局限于单一格式、任务、数据集或领域的方式处理语言并进行推理。为实现此目标，我们引入NUMBERGAME，一个用于评估模型在八种不同格式数值推理任务上表现的多面基准。我们在汇编中加入了四种已有问题类型。我们新增的两种类型涉及需要外部数值知识、常识知识和领域知识的问题。为构建更实用的数值推理系统，NUMBERGAME除数值推理外还要求四种能力：（i）直接从数据中检测问题格式，（ii）寻找每种格式均可转换到的中间通用格式，（iii）融入常识知识，（iv）处理跨格式的数据不平衡。我们构建了若干基线，包括一个基于使用备忘单进行知识搜寻的新模型。然而，所有人基线表现均远逊于人类基线，表明我们的基准难度很高。我们的工作推进了通用系统开发的近期进展，展示了这些未被充分探索任务的空间。