ReviewQA:一个基于关系方面的意见阅读数据集
计算与语言
2018-10-30 v1
摘要
用于问答的深度阅读模型在过去几年中展现出有前景的性能。然而,当前的系统倾向于学习如何基于源文档与问题的相似性巧妙地提取文档的一个片段,而不是寻找合适的答案。事实上,阅读机器应当能够检测文档中与问题相关的段落,但更重要的是,它应当能够对文档中的重要片段进行推理,以便在需要时生成答案。为了推动这一目标,我们提出了 ReviewQA,一个基于酒店评论的问答数据集。该数据集的问题与一组我们期望模型掌握的关系理解能力相关联。实际上,每个问题都带有一个表征所需能力的关联类型。借助该框架,可以对主要模型族进行基准测试,并概览给定模型在该数据集所评估任务集合上的优势与弱点。我们的语料库包含超过 500,000 个自然语言问题,涉及 100,000 篇酒店评论。我们的设置为投射式,问题的答案无需像近期大多数数据集那样从文档中抽取,而是从一组包含该数据集所有问题可能答案的候选中选择。最后,我们给出了该数据集上的若干基线。
引用
@article{arxiv.1810.12196,
title = {ReviewQA: a relational aspect-based opinion reading dataset},
author = {Quentin Grail and Julien Perez},
journal= {arXiv preprint arXiv:1810.12196},
year = {2018}
}
备注
Accepted at Conf\'erence sur l'apprentissage automatique (CAp 2018)