ARC 数据集中知识、推理与语境的系统化分类
人工智能
2019-02-06 v2 计算与语言
信息检索
摘要
Clark 等人近期的工作引入了 AI2 Reasoning Challenge（ARC）及相关的 ARC 数据集，该数据集将开放领域的复杂科学问题划分为简单集与挑战集。该论文包含对 100 个问题的分析，涉及回答它们所需的知识与推理类型；然而，它未包含这些类型的明确定义，也未提供关于标注质量的信息。我们提出一套用于回答 ARC 数据集中问题所需的知识与推理类型的全面定义。利用十名标注者与一个精细的标注界面，我们分析了挑战集上标注的分布及其相关统计信息。此外，我们证明，尽管朴素的信息检索方法返回的语句与回答查询无关，但（ARC）语料库中常存在充分的支撑文本。使用人工筛选的相关句子进行评估，使一个神经机器理解模型的性能提升了 42 分。
引用
@article{arxiv.1806.00358,
title = {A Systematic Classification of Knowledge, Reasoning, and Context within the ARC Dataset},
author = {Michael Boratko and Harshit Padigela and Divyendra Mikkilineni and Pritish Yuvraj and Rajarshi Das and Andrew McCallum and Maria Chang and Achille Fokoue-Nkoutche and Pavan Kapanipathi and Nicholas Mattei and Ryan Musa and Kartik Talamadupula and Michael Witbrock},
journal= {arXiv preprint arXiv:1806.00358},
year = {2019}
}
备注
Presented at the Machine Reading for Question Answering (MRQA 2018) Workshop at the 55th Annual Meeting of the Association for Computational Linguistics (ACL 2018). 11 pages, 5 tables, 4 figures. Added missing citations in the latest draft