多段落BERT：一种用于开放域问答的全局归一化BERT模型
计算与语言
2019-10-03 v2 人工智能
摘要
BERT模型已成功应用于开放域问答任务。然而，以往的工作将对应同一问题的段落视为独立训练实例来训练BERT，这可能导致来自不同段落的答案得分不可比较。为解决此问题，我们提出一种多段落BERT模型，对同一问题所有段落的答案得分进行全局归一化，这一改变使我们的问答模型能利用更多段落找到更好的答案。此外，我们发现通过滑动窗口将文章分割为100词长度的段落可提升4%的性能。通过利用段落排序器选择高质量段落，多段落BERT再获得2%的提升。在四个标准基准上的实验表明，我们的多段落BERT在所有基准上均优于所有最先进的模型。特别是在OpenSQuAD数据集上，我们的模型相比所有非BERT模型在EM上提升21.4%，在F_1上提升21.5%；相比基于BERT的模型在EM上提升5.8%，在F_1上提升6.5%。
引用
@article{arxiv.1908.08167,
title = {Multi-passage BERT: A Globally Normalized BERT Model for Open-domain Question Answering},
author = {Zhiguo Wang and Patrick Ng and Xiaofei Ma and Ramesh Nallapati and Bing Xiang},
journal= {arXiv preprint arXiv:1908.08167},
year = {2019}
}
备注
To appear in EMNLP 2019