基于相关性采样的多任务检索增强文本生成
计算与语言
2022-07-08 v1 信息检索
摘要
本文研究面向知识密集型任务的检索增强生成模型的多任务训练。我们提出利用知识密集型生成的一个独特性质来清洗训练集：查询-答案对与知识库中条目的关联性。我们通过相关性标签的置信度阈值来过滤训练样本，即判断一个样本对是否可由知识库回答。我们在 KILT 基准的七个组合任务上训练了一个单一的 Fusion-in-Decoder (FiD) 生成器。实验结果表明，我们简单而有效的方法在两个严重不平衡的任务上显著改进了竞争基线；在其余任务上则表现出较小的改进或无显著退化。此外，我们证明了采用相关性标签采样的多任务训练能够很好地随模型容量增加而扩展，并在 KILT 七个任务中的五个上取得了最先进的结果。
引用
@article{arxiv.2207.03030,
title = {Multi-Task Retrieval-Augmented Text Generation with Relevance Sampling},
author = {Sebastian Hofstätter and Jiecao Chen and Karthik Raman and Hamed Zamani},
journal= {arXiv preprint arXiv:2207.03030},
year = {2022}
}
备注
Accepted at the ICML 2022 Workshop on Knowledge Retrieval and Language Models (KRLM)