基于 DPR 与 RAG 的零样本槽填充
人工智能
2021-04-20 v1 计算与语言
摘要
从给定文档集合中自动抽取知识图谱(KG)的能力是人工智能中一个长期存在的问题。评估该能力的一种途径是通过槽填充任务。给定形如 [实体, 槽, ?] 的实体查询，要求系统通过从相关段落中生成或抽取缺失值来“填充”该槽。该能力对于构建自动知识库填充系统至关重要，这类系统的需求正日益增长，尤其在 enterprise 应用中。近来，一个颇有前景的方向是以评估知识库的方式评估语言模型，而槽填充任务最契合此意图。该领域近期进展试图使用基于检索的语言模型以端到端方式解决此任务。诸如检索增强生成(Retrieval Augmented Generation, RAG)等模型在不涉及复杂信息抽取流水线的情况下展现出令人惊讶的良好性能。然而，这些模型在 KILT 基准上两个槽填充任务的结果仍达不到真实世界信息抽取系统所需的水平。本文中，我们描述了为改进 RAG 的检索器与生成器以使其成为更优槽填充器而采用的若干策略。我们的 KGI0 系统(位于 https://github.com/IBM/retrieve-write-slot-filling)在 T-REx 与 zsRE 数据集上均以较大优势位居 KILT 排行榜榜首。
引用
@article{arxiv.2104.08610,
title = {Zero-shot Slot Filling with DPR and RAG},
author = {Michael Glass and Gaetano Rossiello and Alfio Gliozzo},
journal= {arXiv preprint arXiv:2104.08610},
year = {2021}
}