检索增强生成中独立与联合微调策略的比较
计算与语言
2025-10-21 v2 人工智能
摘要
检索增强生成中独立与联合微调策略的比较 下载 PDF Neal Gregory Lawton, Alfy Samuel, Anoop Kumar, Daben Liu 发布日期：2025 年 8 月 20 日，检索增强生成（RAG）是一个流行的问答框架，由两个大语言模型（LLM）驱动：一个嵌入模型，负责从数据库中检索与给定问题相关的上下文文档；以及一个生成器模型，负责利用检索到的上下文生成问题的答案。嵌入模型和生成器模型均可进行微调，以提高 RAG 流水线在新任务上的性能，但存在多种微调策略，各有不同的成本与收益。在本文中，我们评估并比较了几种 RAG 微调策略，包括独立微调、联合微调以及两阶段微调。在我们的实验中，我们观察到所有这些策略在 EM 和 F1 生成质量指标上均取得了大致相同的改进，尽管它们的计算成本差异显著。我们得出结论，最优微调策略的选择取决于训练数据集是否包含上下文标签，以及是否需要对嵌入模型和生成器模型的学习率进行网格搜索。
引用
@article{arxiv.2510.01600,
title = {A Comparison of Independent and Joint Fine-tuning Strategies for Retrieval-Augmented Generation},
author = {Neal Gregory Lawton and Alfy Samuel and Anoop Kumar and Daben Liu},
journal= {arXiv preprint arXiv:2510.01600},
year = {2025}
}