DC-BERT:解耦问题与文档以实现高效上下文编码
计算与语言
2020-03-02 v1
摘要
近期关于开放域问答的研究利用 BERT 等预训练语言模型取得了显著的性能提升。最先进的方法通常遵循“检索并阅读”流程,并采用基于 BERT 的重排序器在将检索到的文档输入阅读器模块之前进行过滤。BERT 检索器将问题与每篇检索到的文档拼接后作为输入。尽管这些方法在问答准确率方面取得了成功,但由于拼接操作,它们几乎无法处理大量涌入的问题(每个问题附带大量检索文档)的高吞吐场景。为解决效率问题,我们提出 DC-BERT,一种解耦的上下文编码框架,具有双 BERT 模型:一个在线 BERT 仅对问题编码一次,以及一个离线 BERT 预先编码所有文档并缓存其编码。在 SQuAD Open 和 Natural Questions Open 数据集上,DC-BERT 在文档检索上实现了 10 倍加速,同时相比开放域问答的最先进方法保留了大部分(约 98%)的问答性能。
引用
@article{arxiv.2002.12591,
title = {DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding},
author = {Yuyu Zhang and Ping Nie and Xiubo Geng and Arun Ramamurthy and Le Song and Daxin Jiang},
journal= {arXiv preprint arXiv:2002.12591},
year = {2020}
}