面向开放域问答的神经检索器端到端训练
计算与语言
2021-06-03 v2 人工智能
摘要
近期关于开放域问答（OpenQA）神经检索器训练的工作采用了监督与无监督两种方法。然而，如何最有效地将无监督与监督方法用于神经检索器仍不明确。在本工作中，我们系统地研究了检索器预训练。我们首先提出一种以逆闭包任务与掩码显著跨度进行无监督预训练、随后使用问题-上下文对进行监督微调的方法。该方法在 Natural Questions 与 TriviaQA 数据集的 top-20 检索准确率上相较先前最佳结果取得 2 个百分点以上的绝对提升。我们还探索了 OpenQA 模型中阅读器与检索器组件端到端监督训练的两种途径。第一种途径中，阅读器分别考虑每个检索到的文档；第二种途径中，阅读器同时考虑所有检索到的文档。我们的实验证明了这些方法的有效性，并取得了新的 SOTA 结果。在 Natural Questions 数据集上，我们获得了 84 的 top-20 检索准确率，较近期 DPR 模型提升 5 个百分点。此外，我们在答案抽取上取得良好结果，以 3 个百分点以上优于 REALM 和 RAG 等近期模型。我们进一步将端到端训练扩展到大型模型，并展示出相较较小模型的一致性能提升。
引用
@article{arxiv.2101.00408,
title = {End-to-End Training of Neural Retrievers for Open-Domain Question Answering},
author = {Devendra Singh Sachan and Mostofa Patwary and Mohammad Shoeybi and Neel Kant and Wei Ping and William L Hamilton and Bryan Catanzaro},
journal= {arXiv preprint arXiv:2101.00408},
year = {2021}
}
备注
ACL 2021