在基于 Transformer 的编码器中延迟交互层以实现高效开放域问答
计算与语言
2020-10-19 v1
摘要
在大规模文档语料库（如维基百科）上的开放域问答（ODQA）是计算机科学中的一项关键挑战。尽管基于 Transformer 的语言模型如 Bert 已在 SQuAD 上展现出超越人类从短文本段落中抽取答案的能力，但面对大得多的搜索空间时，它们受限于高计算复杂度。解决此问题最常见的方法是增加一个初步的信息检索步骤，以大幅过滤语料库并仅保留相关段落。在本文中，我们提出了一种更直接且互补的方案，即对基于 Transformer 的模型架构施加一种通用改动，以延迟输入各子部分之间的注意力，从而实现更高效的计算管理。所得变体在抽取式任务上与原模型具有竞争力，并且在 ODQA 设定下，于许多情形中实现了显著加速甚至性能提升。
引用
@article{arxiv.2010.08422,
title = {Delaying Interaction Layers in Transformer-based Encoders for Efficient Open Domain Question Answering},
author = {Wissam Siblini and Mohamed Challal and Charlotte Pasqual},
journal= {arXiv preprint arXiv:2010.08422},
year = {2020}
}