RAG 对比微调：流程、权衡与一个农业案例研究
计算与语言
2024-01-31 v3 机器学习
摘要
开发者在构建大语言模型（LLM）应用时，有两种常见的融入专有和领域特定数据的方式：检索增强生成（RAG）与微调（Fine-Tuning）。RAG 用外部数据增强提示，而微调则将额外知识融入模型本身。然而，两种方法的优缺点尚未被充分理解。本文提出了一个用于微调和 RAG 的流程，并展示了它们在多个流行 LLM（包括 Llama2-13B、GPT-3.5 和 GPT-4）上的权衡。我们的流程包含多个阶段，包括从 PDF 中提取信息、生成问答对、将其用于微调，以及利用 GPT-4 评估结果。我们提出了评估 RAG 与微调流程不同阶段性能的指标。我们在一个农业数据集上进行了深入研究。农业作为一个行业，AI 的渗透率不高，我们研究了一个潜在的颠覆性应用——如果能为农民提供特定地点的洞察会怎样？我们的结果展示了数据集生成流程在捕获地理特定知识方面的有效性，以及 RAG 和微调的定量与定性收益。我们看到微调模型时准确率提升超过 6 个百分点，且这与 RAG 的效果可累积，RAG 进一步将准确率提升 5 个百分点。在一项特定实验中，我们还证明微调后的模型利用跨地域信息来回答特定问题，将答案相似度从 47% 提高到 72%。总体而言，结果指明了如何使基于 LLM 构建的系统能够适应并回应和融入对一个特定行业至关重要的维度上的知识，为 LLM 在其他工业领域的进一步应用铺平了道路。
引用
@article{arxiv.2401.08406,
title = {RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture},
author = {Angels Balaguer and Vinamra Benara and Renato Luiz de Freitas Cunha and Roberto de M. Estevão Filho and Todd Hendry and Daniel Holstein and Jennifer Marsman and Nick Mecklenburg and Sara Malvar and Leonardo O. Nunes and Rafael Padilha and Morris Sharp and Bruno Silva and Swati Sharma and Vijay Aski and Ranveer Chandra},
journal= {arXiv preprint arXiv:2401.08406},
year = {2024}
}