在 Mistral 8x7B-v1 中引入 Super RAG
信息检索
2024-04-16 v1 计算与语言
机器学习
摘要
对增强大型语言模型 (LLM) 的不懈追求催生了超级检索增强生成 (Super RAGs)，这是一种旨在通过以最小的结构修改集成外部知识源来提升 LLM 性能的新方法。本文介绍了将 Super RAGs 集成到最先进的 LLM Mistral 8x7B v1 中，并检验了由此在准确性、速度和用户满意度方面带来的改进。我们的方法使用了一个微调的指令模型设置和一个缓存调优分叉系统，确保了高效且相关的数据检索。在多个周期内进行的评估表明，所有指标均有显著提升。研究结果表明，Super RAGs 可以有效增强 LLM，为更复杂、更可靠的 AI 系统铺平道路。这项研究通过提供 Super RAGs 益处的实证证据并对其潜在应用提供见解，为该领域做出了贡献。
关键词
引用
@article{arxiv.2404.08940,
title = {Introducing Super RAGs in Mistral 8x7B-v1},
author = {Ayush Thakur and Raghav Gupta},
journal= {arXiv preprint arXiv:2404.08940},
year = {2024}
}