基于句子选择提升开放域问答推理效率的 FastFiD
计算与语言
2024-08-13 v1
摘要
开放域问答（ODQA）近期发展迅猛，得益于稠密 passage 检索和预训练语言模型的显著进步。当前模型通常采用 FiD 框架，其由神经检索器和编码器-解码器神经阅读器组成。在答案生成过程中，检索器会检索大量片段（例如约 100 个），每个片段随后由编码器单独编码。随后，解码器基于这些编码后的片段进行预测。然而，这一框架可能相对耗时，主要由于收集片段的冗长长度。为此，本文引入 FastFiD，一种新方法，在编码后的片段上执行句子选择。这有助于保留有价值的句子，同时减少生成答案所需的上下文长度。在三个常用数据集（Natural Questions、TriviaQA 和 ASQA）上的实验表明，我们的方法可在保持模型性能的同时，将推理速度提高 2.3 倍至 5.7 倍。此外，对模型注意力进行深入分析表明，所选句子确实对最终答案具有重要贡献。代码已公开于 https://github.com/thunlp/FastFiD。
引用
@article{arxiv.2408.06333,
title = {FastFiD: Improve Inference Efficiency of Open Domain Question Answering via Sentence Selection},
author = {Yufei Huang and Xu Han and Maosong Sun},
journal= {arXiv preprint arXiv:2408.06333},
year = {2024}
}
备注
ACL 2024 Main Conference