Quasar：基于搜索与阅读的问答数据集
计算与语言
2017-08-10 v2 信息检索
机器学习
摘要
我们提出了两个大规模新数据集，旨在评估那些被设计用于理解自然语言查询并从大型文本语料库中抽取其答案的系统。Quasar-S 数据集由 37000 个完形填空式（填空）查询组成，这些查询构建自热门网站 Stack Overflow 上软件实体标签的定义。该网站的帖子和评论作为回答完形填空问题的背景语料。Quasar-T 数据集由 43000 个开放域琐事问题及其答案组成，这些答案取自各种网络来源。ClueWeb09 作为抽取这些答案的背景语料。我们将这些数据集作为事实类问答两个相关子任务的挑战：(1) 搜索包含查询正确答案的相关文本片段，(2) 阅读检索到的文本以回答查询。我们还描述了一个检索系统，用于给定查询从语料库中抽取相关句子和文档，并将其包含在发布中供希望仅关注 (2) 的研究者使用。我们在两个数据集上评估了若干基线方法，从简单启发式到强大的神经模型，结果表明这些方法分别落后于人类表现 16.4% 和 32.1%（Quasar-S 和 -T）。数据集可在 https://github.com/bdhingra/quasar 获取。
引用
@article{arxiv.1707.03904,
title = {Quasar: Datasets for Question Answering by Search and Reading},
author = {Bhuwan Dhingra and Kathryn Mazaitis and William W. Cohen},
journal= {arXiv preprint arXiv:1707.03904},
year = {2017}
}