AssistRAG：通过智能信息助手提升大语言模型的潜能
计算与语言
2024-11-12 v1 人工智能
信息检索
摘要
大语言模型（LLM）的出现显著推动了自然语言处理的发展，但这些模型常常会生成事实错误的信息，称为“幻觉”。最初的检索增强生成（RAG）方法，如“检索-生成”框架，对复杂推理任务不够。随后出现的基于提示的 RAG 策略和监督微调（SFT）方法改进了性能，但需要频繁重新训练，风险会改变基础 LLM 的能力。为应对这些挑战，我们提出一种基于助理的检索增强生成（AssistRAG），将智能信息助手集成到 LLM 中。该助手通过工具使用、动作执行、记忆构建和计划指定来管理记忆和知识。我们采用两种训练方法：课程助理学习和受强化偏好优化。AssistRAG 提升了信息检索和决策能力。实验表明，AssistRAG 在基准测试中显著优于现有方法，尤其受益于较不成熟的 LLM，通过提供更好的推理能力和准确响应。
引用
@article{arxiv.2411.06805,
title = {AssistRAG: Boosting the Potential of Large Language Models with an Intelligent Information Assistant},
author = {Yujia Zhou and Zheng Liu and Zhicheng Dou},
journal= {arXiv preprint arXiv:2411.06805},
year = {2024}
}
备注
Accepted by NeurIPS 2024 (poster)