BoolQ：探究自然是非题出人意料的难度
计算与语言
2019-05-27 v1
摘要
本文研究自然产生的是/否问题——即它们在无提示且无约束的环境中生成。我们构建了此类问题的阅读理解数据集 BoolQ，并表明它们具有出人意料的挑战性。它们常查询复杂、非事实类信息，并需要困难的类蕴含推理来求解。我们还探索了一系列迁移学习基线的有效性。我们发现，从蕴含数据迁移比从复述或抽取式问答数据迁移更有效，且出人意料的是，即便从 BERT 等大规模预训练语言模型出发，它仍非常有益。我们的最佳方法在 MultiNLI 上训练 BERT，随后在我们的训练集上重新训练。其准确率达 80.4%，而人类标注者为 90%（多数类基线为 62%），为未来工作留下了显著差距。
引用
@article{arxiv.1905.10044,
title = {BoolQ: Exploring the Surprising Difficulty of Natural Yes/No Questions},
author = {Christopher Clark and Kenton Lee and Ming-Wei Chang and Tom Kwiatkowski and Michael Collins and Kristina Toutanova},
journal= {arXiv preprint arXiv:1905.10044},
year = {2019}
}
备注
In NAACL 2019