基于稠密-稀疏短语索引的实时开放域问答
计算与语言
2019-06-17 v2
摘要
现有的开放域问答（QA）模型不适合实时使用，因为它们需要为每个输入查询按需处理多个长文档。在本文中，我们引入了与查询无关的可索引文档短语表示，这可以大幅加速开放域问答，并使我们能够触及长尾目标。特别是，我们的稠密-稀疏短语编码有效地捕获了短语的句法、语义和词汇信息，并消除了上下文文档的流水线过滤。利用优化策略，我们的模型可以在单个 4-GPU 服务器上训练，并仅使用 CPU 在 2TB 内服务整个维基百科（多达 600 亿个短语）。我们在 SQuAD-Open 上的实验表明，我们的模型比 DrQA 更准确，同时计算成本降低了 6000 倍，这相当于在 CPU 上的端到端推理基准测试中至少快了 58 倍。
引用
@article{arxiv.1906.05807,
title = {Real-Time Open-Domain Question Answering with Dense-Sparse Phrase Index},
author = {Minjoon Seo and Jinhyuk Lee and Tom Kwiatkowski and Ankur P. Parikh and Ali Farhadi and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:1906.05807},
year = {2019}
}
备注
ACL 2019; Code & demo available at https://nlp.cs.washington.edu/denspi/ ; Added comparison to Weaver (Raison et al., 2018)