IIRC：一个不完整信息阅读理解问答数据集
计算与语言
2020-11-17 v1
摘要
人类常常需要阅读多篇文档来满足其信息需求。然而，大多数现有的阅读理解（RC）任务仅关注那些上下文提供了回答所需全部信息的问题，因而无法评估系统在识别潜在信息不足和定位信息来源方面的表现。为填补这一空白，我们提出一个数据集 IIRC，包含超过 13K 个基于英文维基百科段落的问题，这些段落仅提供回答所需的局部信息，缺失信息出现在一个或多个链接文档中。问题由无法访问任何链接文档的众包工作者撰写，导致问题与答案所在上下文词汇重叠很少。这一过程也产生了许多无答案的问题，以及需要离散推理的问题，增加了任务难度。我们沿用近期针对各类阅读理解数据集的建模工作为该数据集构建基线模型，发现其在任务上取得 31.1% 的 F1，而估计人类表现为 88.4%。数据集、基线系统代码及排行榜可在 https://allennlp.org/iirc 获取。
引用
@article{arxiv.2011.07127,
title = {IIRC: A Dataset of Incomplete Information Reading Comprehension Questions},
author = {James Ferguson and Matt Gardner and Hannaneh Hajishirzi and Tushar Khot and Pradeep Dasigi},
journal= {arXiv preprint arXiv:2011.07127},
year = {2020}
}
备注
EMNLP 2020