基于维基百科的问答语料库分析
计算与语言
2018-02-06 v2
摘要
本文对基于维基百科的若干问答任务语料库进行了全面分析。收集了四个近期语料库 WikiQA、SelQA、SQuAD 与 InfoQA，并首先通过上下文相似性、问题类型与答案类别进行内在分析。随后通过三项问答任务——答案检索、选择与触发——对这些语料库进行外在分析。亦提出了一种基于索引的方法，利用整个维基百科创建用于答案检索的银标准数据集。我们的分析显示了这些语料库的独特性，并为统计问答学习中对它们的更好使用提供了建议。
引用
@article{arxiv.1801.02073,
title = {Analysis of Wikipedia-based Corpora for Question Answering},
author = {Tomasz Jurczyk and Amit Deshmane and Jinho D. Choi},
journal= {arXiv preprint arXiv:1801.02073},
year = {2018}
}