面向检索增强大语言模型中参数化知识细化的查询优化
计算与语言
2025-09-22 v4 信息检索
摘要
我们提出了“抽取-细化-检索-读取”(ERRR)框架,这是一种新颖的方法,旨在通过针对大语言模型(LLM)特定知识需求定制的查询优化,弥合检索增强生成(RAG)系统中的预检索信息鸿沟。与RAG中常规的查询优化技术不同,ERRR框架首先从LLM中抽取参数化知识,随后使用专门的查询优化器对这些查询进行细化。这一过程确保仅检索生成准确回答所需的最相关信息。此外,为增强灵活性并降低计算成本,我们提出了一种可训练的流水线方案,利用一个较小的可调模型作为查询优化器,并通过从更大的教师模型进行知识蒸馏来对其进行细化。我们在各种问答(QA)数据集和不同检索系统上的评估表明,ERRR始终优于现有基线,证明它是一个提升RAG系统实用性和准确性的通用且高性价比的模块。
引用
@article{arxiv.2411.07820,
title = {Query Optimization for Parametric Knowledge Refinement in Retrieval-Augmented Large Language Models},
author = {Youan Cong and Pritom Saha Akash and Cheng Wang and Kevin Chen-Chuan Chang},
journal= {arXiv preprint arXiv:2411.07820},
year = {2025}
}