LLMQuoter：通过从大上下文中高效提取引用增强 RAG 能力
计算与语言
2025-01-13 v1 人工智能
摘要
我们提出了 LLMQuoter，这是一个轻量级的、基于知识蒸馏的模型，旨在通过为下游推理任务提取最相关的文本证据来增强检索增强生成（RAG）。LLMQuoter 基于 LLaMA-3B 架构，并在 HotpotQA 的 15,000 个样本子集上使用低秩适应进行微调。它采用“先引用后回答”策略，在将精选片段传递给推理模型之前，高效识别关键引用。该工作流减少了认知开销，并优于检索增强微调（RAFT）等全上下文方法，在小型和大型语言模型上均实现了超过 20 个百分点的准确率提升。通过利用高性能教师模型的知识蒸馏，LLMQuoter 在资源高效的微调设置中取得了具有竞争力的结果。它使先进的 RAG 能力得以普及，无需大量模型重训练即可提供显著的性能提升。我们的结果突显了基于蒸馏引用的推理在简化复杂工作流方面的潜力，为研究人员和从业者提供了一种可扩展且实用的解决方案。
引用
@article{arxiv.2501.05554,
title = {LLMQuoter: Enhancing RAG Capabilities Through Efficient Quote Extraction From Large Contexts},
author = {Yuri Facanha Bezerra and Li Weigang},
journal= {arXiv preprint arXiv:2501.05554},
year = {2025}
}