FiD-Light：高效且有效的检索增强文本生成
计算与语言
2022-09-29 v1 信息检索
摘要
检索增强生成模型相比独立的语言模型具有许多优势：除对给定查询的文本回答外，它们还提供从可更新知识库中检索出的来源项。然而，它们也是更复杂的系统，需要处理长输入。在本工作中，我们引入FiD-Light以大幅提升最先进的检索增强FiD模型的效率，同时保持相同的有效性水平。我们的FiD-Light模型约束了从编码器（分别编码段落）到解码器（使用拼接的编码表示）的信息流。此外，我们通过文本来源指针使FiD-Light具备重排序能力，以提高排名靠前的来源精度。我们在七个知识密集型任务（KILT）的多样集合上的实验表明，FiD-Light持续改善了查询延迟与有效性之间的帕累托前沿。带有来源指针的FiD-Light在六个KILT任务的文本生成与来源检索联合评估上确立了实质性的新最先进结果，同时保持了合理的效率。
引用
@article{arxiv.2209.14290,
title = {FiD-Light: Efficient and Effective Retrieval-Augmented Text Generation},
author = {Sebastian Hofstätter and Jiecao Chen and Karthik Raman and Hamed Zamani},
journal= {arXiv preprint arXiv:2209.14290},
year = {2022}
}