DRAGIN：基于大型语言模型信息需求的动态检索增强生成
计算与语言
2024-09-24 v3 信息检索
摘要
动态检索增强生成（RAG）范式在大型语言模型（LLM）的文本生成过程中主动决定何时检索以及检索什么。该范式有两个关键要素：识别激活检索模块的最佳时机（决定何时检索）以及在检索触发后构造合适的查询（决定检索什么）。然而，当前的动态 RAG 方法在这两方面均存在不足。首先，决定何时检索的策略通常依赖于静态规则。此外，决定检索什么的策略通常将其自身局限于 LLM 最近的句子或最后几个 token，而 LLM 的实时信息需求可能跨越整个上下文。为了克服这些局限性，我们引入了一个新框架 DRAGIN，即基于 LLM 实时信息需求的动态检索增强生成。我们的框架专门设计用于在文本生成过程中根据 LLM 的实时信息需求来决定何时以及检索什么。我们在 4 个知识密集型生成数据集上对 DRAGIN 及现有方法进行了全面评估。实验结果表明，DRAGIN 在所有任务上均取得了卓越的性能，证明了我们方法的有效性。我们已在 GitHub 开源所有代码、数据和模型：https://github.com/oneal2000/DRAGIN/tree/main
引用
@article{arxiv.2403.10081,
title = {DRAGIN: Dynamic Retrieval Augmented Generation based on the Information Needs of Large Language Models},
author = {Weihang Su and Yichen Tang and Qingyao Ai and Zhijing Wu and Yiqun Liu},
journal= {arXiv preprint arXiv:2403.10081},
year = {2024}
}