CoQA、SQuAD 2.0 与 QuAC 的定性比较
计算与语言
2019-07-03 v2
摘要
我们沿若干新特性比较了三个新的问答数据集:SQuAD 2.0、QuAC 和 CoQA:(1) 不可回答问题,(2) 多轮交互,以及 (3) 抽取式答案。我们表明这些数据集在前两方面提供了互补的覆盖,但在第三方面覆盖薄弱。由于数据集结构相似,单一抽取式模型可轻易适配任一数据集,且我们在 SQuAD 2.0 与 CoQA 上均展示了改进的基线结果。尽管相似,在一个数据集上训练的模型在另一数据集上无效,但我们通过预训练获得了中等的性能提升。为鼓励交叉评测,我们在 https://github.com/my89/co-squac 发布了数据集间转换代码。
引用
@article{arxiv.1809.10735,
title = {A Qualitative Comparison of CoQA, SQuAD 2.0 and QuAC},
author = {Mark Yatskar},
journal= {arXiv preprint arXiv:1809.10735},
year = {2019}
}
备注
Camera Ready Presented at NAACL '19