以为已解决问答？试试 ARC，即 AI2 推理挑战
人工智能
2018-03-16 v1 计算与语言
信息检索
摘要
我们提出一个新的问题集、文本语料库与基线，以鼓励人工智能在高级问答方面的研究。这些共同构成了 AI2 推理挑战（ARC），其所需的知识与推理能力远超前此如 SQuAD 或 SNLI 等挑战。ARC 问题集划分为挑战集与简单集，其中挑战集仅包含基于检索的算法与词共现算法均回答错误的问题。该数据集仅含自然的小学科学问题（为人测试而编写），且是此类最大的公共领域集合（7787 题）。我们在挑战集上测试若干基线，包括来自 SQuAD 与 SNLI 任务的领先神经模型，发现无一能显著优于随机基线，反映出该任务的困难性质。我们还发布了 ARC 语料库，一个含 1400 万句与该任务相关的科学句子，以及所测三种神经基线模型的实现。你的模型能表现更好吗？我们将 ARC 作为对学界的一个挑战提出。
引用
@article{arxiv.1803.05457,
title = {Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge},
author = {Peter Clark and Isaac Cowhey and Oren Etzioni and Tushar Khot and Ashish Sabharwal and Carissa Schoenick and Oyvind Tafjord},
journal= {arXiv preprint arXiv:1803.05457},
year = {2018}
}
备注
10 pages, 7 tables, 2 figures