Ragnarök：面向 TREC 2024 检索增强生成轨道的可重用 RAG 框架与基准
信息检索
2024-06-25 v1 人工智能
计算与语言
摘要
你是否尝试过新的 Bing 搜索？或者可能在 Google AI~Overviews 中随意玩弄？这些听起来可能很熟悉，因为当今的搜索技术栈最近演变为包括检索增强生成（RAG）系统。它们允许搜索并整合大型语言模型（LLM）中的实时数据，以提供信息完善、可归因且简洁的摘要，与传统依赖显示排序文档列表的搜索范式形成对比。鉴于这些最新进展，拥有构建、测试、可视化和系统评估 RAG 基础搜索系统的平台至关重要。为此，我们提出了 TREC 2024 RAG 轨道，以推动对 RAG 系统进行创新性评估。在本工作中，我们概述了实现该轨道的步骤——我们描述了可重用框架 Ragnarök 的细节，解释了新 MS MARCO V2.1 语料库选择，发布了轨道的开发主题，并标准化了 I/O 定义，以帮助最终用户。接着，我们利用 Ragnarök 识别并提供关键工业基准，如 OpenAI 的 GPT-4o 或 Cohere 的 Command R+。进一步，我们引入了一个基于网页的用户界面，允许通过众包进行成对 RAG 系统的基准测试。我们开源了 Ragnarök 框架和基准，以实现未来 RAG 系统的统一标准。
引用
@article{arxiv.2406.16828,
title = {Ragnar\"ok: A Reusable RAG Framework and Baselines for TREC 2024 Retrieval-Augmented Generation Track},
author = {Ronak Pradeep and Nandan Thakur and Sahel Sharifymoghaddam and Eric Zhang and Ryan Nguyen and Daniel Campos and Nick Craswell and Jimmy Lin},
journal= {arXiv preprint arXiv:2406.16828},
year = {2024}
}