面向零样本槽填充的鲁棒检索增强生成
计算与语言
2021-09-15 v2 人工智能
信息检索
摘要
从给定文档集合中自动归纳高质量知识图谱仍是人工智能中一项具有挑战性的问题。取得进展的一种途径是推进一项相关任务，即槽填充。在该任务中，给定形如 [实体, 槽位, ?] 的实体查询，系统需利用从给定文档集合相关段落中提取的证据，通过生成或抽取缺失值来填充槽位。该领域近期工作试图使用基于检索的语言模型以端到端方式解决此任务。本文提出一种零样本槽填充的新方法，将稠密段落检索扩展至难负样本，并为检索增强生成模型提供鲁棒训练流程。我们的模型在 T-REx 与 zsRE 槽填充数据集上均取得大幅提升，同时改进了段落检索与槽值生成，并在 KILT 排行榜上位居榜首。此外，我们通过零样本/少样本学习相结合，在 TACRED 数据集的槽填充新变体上展示了系统的域适应能力，证明了其鲁棒性。我们发布了源代码与预训练模型。
引用
@article{arxiv.2108.13934,
title = {Robust Retrieval Augmented Generation for Zero-shot Slot Filling},
author = {Michael Glass and Gaetano Rossiello and Md Faisal Mahbub Chowdhury and Alfio Gliozzo},
journal= {arXiv preprint arXiv:2108.13934},
year = {2021}
}
备注
Accepted at EMNLP 2021. arXiv admin note: substantial text overlap with arXiv:2104.08610