机器阅读理解任务中的数值推理：我们真的做到了吗？
计算与语言
2021-09-20 v1 人工智能
摘要
基于数值推理的机器阅读理解是一项涉及阅读理解并使用加法、减法、排序和计数等算术运算的任务。DROP 基准（Dua et al., 2019）是近期一个启发了旨在解决该任务的 NLP 模型设计的数据集。这些模型在 DROP 排行榜上基于标准指标的表现表明，它们已达到了接近人类水平的性能。然而，这是否意味着这些模型已经学会了推理？在本文中，我们对一些用于数值推理任务的顶尖模型架构进行了受控研究。我们的观察表明，标准指标无法衡量在此类任务上的进展。
引用
@article{arxiv.2109.08207,
title = {Numerical reasoning in machine reading comprehension tasks: are we there yet?},
author = {Hadeel Al-Negheimish and Pranava Madhyastha and Alessandra Russo},
journal= {arXiv preprint arXiv:2109.08207},
year = {2021}
}
备注
to appear at EMNLP 2021