FiE：在编码器中利用早期融合构建全局概率空间用于开放域问答
计算与语言
2022-11-21 v1 人工智能
信息检索
摘要
生成式模型近期开始在开放域问答中超越抽取式模型，很大程度上得益于其解码器能够关注多个编码段落并融合其信息。然而，由于需要解码器，生成式模型往往比抽取式模型更大，在推理时因自回归解码器束搜索而更慢，且其生成输出常有幻觉问题。我们提出扩展 transformer 编码器，使其具备融合多段落信息的能力，利用全局表示在所有样本间提供跨样本注意力以覆盖全部词元。此外，我们提出一种替代的答案跨度概率计算方式，以更好地在全体样本的全局空间中聚合答案得分。使用我们提出的方法，在 Natural Question 数据集上以仅 25% 的参数和 35% 的推理延迟超越了当前最优方法 2.5 个 Exact Match 分数，在 WebQuestions 数据集上超越 4.4 个 Exact Match。当结合合成数据增强时，我们在 TriviaQA 数据集上也优于更大的模型。本方法的延迟与参数节省使其在开放域问答中尤为具吸引力，因这类模型常计算密集。
引用
@article{arxiv.2211.10147,
title = {FiE: Building a Global Probability Space by Leveraging Early Fusion in Encoder for Open-Domain Question Answering},
author = {Akhil Kedia and Mohd Abbas Zaidi and Haejun Lee},
journal= {arXiv preprint arXiv:2211.10147},
year = {2022}
}
备注
Accepted at EMNLP 2022 Main Conference