RetroLLM: 赋能大语言模型在生成过程中检索细粒度证据
计算与语言
2024-12-17 v1 人工智能
信息检索
摘要
大语言模型(LLMs)展现出卓越的生成能力，但常常出现幻觉。检索增强生成(RAG)通过引入外部知识提供了有效解决方案，但现有方法仍面临若干限制：独立检索器的额外部署成本、检索文本块带来的冗余输入标记，以及检索与生成缺乏联合优化。为解决这些问题，我们提出RetroLLM，一个统一框架，将检索和生成整合到单一连贯过程中，使LLM能够通过约束解码直接从语料库生成细粒度证据。此外，为缓解约束证据生成过程中的错误剪枝，我们引入(1)层次化FM-Index约束，它在证据生成前生成语料库约束线索以识别相关文档子集，减少无关解码空间；(2)前瞻性约束解码策略，考虑未来序列的相关性以提高证据准确性。在五个开放域问答数据集上的广泛实验表明，RetroLLM在域内和域外任务上均表现出优越性能。代码见https://github.com/sunnynexus/RetroLLM。
引用
@article{arxiv.2412.11919,
title = {RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation},
author = {Xiaoxi Li and Jiajie Jin and Yujia Zhou and Yongkang Wu and Zhonghua Li and Qi Ye and Zhicheng Dou},
journal= {arXiv preprint arXiv:2412.11919},
year = {2024}
}