可信与准确性的故事：RAG 系统中的基础模型与指令模型
计算与语言
2024-06-24 v1 信息检索
摘要
检索增强生成（RAG）代表了人工智能的一个重要进展，后者将检索阶段与生成阶段相结合，后者通常由大型语言模型（LLM）驱动。当前 RAG 中的常见做法是使用“指令” LLM，这些模型经过监督式训练以增强其遵循指令的能力，并使用最先进的技术与人类偏好相匹配。与普遍认为的相反，我们的研究表明，在我们的实验设置下，基础模型在 RAG 任务中平均优于其指令型对手 20%。这一发现挑战了关于指令 LLM 在 RAG 应用中优越性的既有假设。进一步的调查揭示了更为细致的情况，质疑了 RAG 的基本方面，建议需要更广泛的讨论；或者正如弗兰姆姆所言，“统计数据乱然的瞥视往往不足以理解数据的意义”。
引用
@article{arxiv.2406.14972,
title = {A Tale of Trust and Accuracy: Base vs. Instruct LLMs in RAG Systems},
author = {Florin Cuconasu and Giovanni Trappolini and Nicola Tonellotto and Fabrizio Silvestri},
journal= {arXiv preprint arXiv:2406.14972},
year = {2024}
}