RAG Playground：RAG 系统中检索策略与提示工程系统评估框架
机器学习
2024-12-18 v1 人工智能
计算与语言
信息检索
摘要
我们提出了 RAG Playground，一个用于系统评估检索增强生成（RAG）系统的开源框架。该框架实现并比较了三种检索方法：朴素向量搜索、重排序和混合向量-关键词搜索，并结合了使用不同提示策略的 ReAct 智能体。我们引入了一个包含新颖指标的全面评估框架，并提供了比较不同语言模型（Llama 3.1 和 Qwen 2.5）在各种检索配置下的实证结果。我们的实验表明，通过混合搜索方法和结构化自我评估提示，取得了显著的性能提升，在我们的多指标评估框架中实现了高达 72.7% 的通过率。结果还突显了提示工程在 RAG 系统中的重要性，我们定制的提示智能体在检索准确性和响应质量上表现出持续的改进。
引用
@article{arxiv.2412.12322,
title = {RAG Playground: A Framework for Systematic Evaluation of Retrieval Strategies and Prompt Engineering in RAG Systems},
author = {Ioannis Papadimitriou and Ilias Gialampoukidis and Stefanos Vrochidis and Ioannis and Kompatsiaris},
journal= {arXiv preprint arXiv:2412.12322},
year = {2024}
}
备注
Work In Progress