知晓你所不知：面向 SQuAD 的不可回答问题
计算与语言
2018-06-12 v1
摘要
抽取式阅读理解系统常能在上下文文档中定位问题的正确答案，但它们也倾向于对上下文中未陈述正确答案的问题做出不可靠的猜测。现有数据集要么仅关注可回答问题，要么使用易于识别的自动生成的不可回答问题。为应对这些不足，我们提出 SQuAD 2.0，即斯坦福问答数据集 (Stanford Question Answering Dataset, SQuAD) 的最新版本。SQuAD 2.0 将现有 SQuAD 数据与超过 50,000 个由众包工作者对抗性撰写的不可回答问题相结合，这些问题看似与可回答问题相似。要在 SQuAD 2.0 上表现良好，系统不仅必须在可能时回答问题，还须判定段落何时不支持任何答案并放弃回答。SQuAD 2.0 对现有模型是一项具挑战性的自然语言理解任务：在 SQuAD 1.1 上取得 86% F1 的强神经系统在 SQuAD 2.0 上仅达 66% F1。
引用
@article{arxiv.1806.03822,
title = {Know What You Don't Know: Unanswerable Questions for SQuAD},
author = {Pranav Rajpurkar and Robin Jia and Percy Liang},
journal= {arXiv preprint arXiv:1806.03822},
year = {2018}
}
备注
ACL 2018