开放域问答只需一个模型
计算与语言
2022-10-31 v2 人工智能
摘要
近期开放域问答（Open-domain Question Answering）方法使用检索器模型参考外部知识库，可选地用独立重排序器模型对段落重排，并用另一读者模型生成答案。尽管执行相关任务，这些模型具有独立参数且在训练时弱耦合。我们提出将检索器与重排序器视为transformer架构内顺序应用的内部段落级注意力机制，并将计算所得表示送入读者，隐藏表示在各阶段逐步精炼。这使我们能使用单一端到端训练的问答模型，其更高效利用模型容量并带来更好的梯度流。我们提出一种预训练方法以有效训练该架构，并在Natural Questions与TriviaQA开放数据集上评估模型。在固定参数预算下，我们的模型以1.0与0.7的精确匹配分数超越先前最先进（state-of-the-art）模型。
引用
@article{arxiv.2112.07381,
title = {You Only Need One Model for Open-domain Question Answering},
author = {Haejun Lee and Akhil Kedia and Jongwon Lee and Ashwin Paranjape and Christopher D. Manning and Kyoung-Gu Woo},
journal= {arXiv preprint arXiv:2112.07381},
year = {2022}
}
备注
EMNLP 2022 (main)