KG-FiD：在开放域问答的 Fusion-in-Decoder 中融入知识图谱
计算与语言
2022-06-07 v2 机器学习
摘要
当前的开放域问答（ODQA）模型范式通常包含一个检索模块和一个阅读模块。给定输入问题，阅读模块从检索器检索到的相关段落中预测答案。近期提出的 Fusion-in-Decoder（FiD）构建于预训练生成模型 T5 之上，在阅读模块中达到了最先进的性能。尽管有效，它仍受限于对所有检索段落（包含大量噪声）的低效注意力。在本工作中，我们提出一种新方法 KG-FiD，通过利用检索段落之间具有知识图谱的结构关系来过滤噪声段落。我们从 FiD 编码器初始化段落节点嵌入，然后使用图神经网络（GNN）更新表示以进行重排序。为提高效率，我们在 FiD 编码器中间层输出之上构建 GNN，并仅将少数排名靠前的重排序段落传入编码器高层与解码器以生成答案。我们还应用所提出的基于 GNN 的重排序方法来增强检索模块中的段落检索结果。在常用 ODQA 基准数据集（Natural Question 和 TriviaQA）上的大量实验表明，KG-FiD 在答案精确匹配分数上比原始 FiD 提升高达 1.5%，且仅以 40% 的计算成本实现了与 FiD 相当的性能。
引用
@article{arxiv.2110.04330,
title = {KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain Question Answering},
author = {Donghan Yu and Chenguang Zhu and Yuwei Fang and Wenhao Yu and Shuohang Wang and Yichong Xu and Xiang Ren and Yiming Yang and Michael Zeng},
journal= {arXiv preprint arXiv:2110.04330},
year = {2022}
}
备注
Accepted by ACL 2022