AutoRAG-HP：检索增强生成系统的自动在线超参数调优
计算与语言
2024-06-28 v1 人工智能
摘要
大型语言模型的近期发展已彻底改变了机器学习/人工智能领域的开发方式，迫切需要重新评估检索增强生成 (RAG) 系统的 AutoML 原则。为解决 RAG 中超参数优化和在线自适应的挑战，我们提出了 AutoRAG-HP 框架，将超参数调优形式化为在线多臂老虎机 (MAB) 问题，并引入一种新颖的两层层次式老虎机 (Hier-MAB) 方法，以高效探索大范围搜索空间。我们在调优诸如检索文档数 (top-k)、提示压缩比以及嵌入方法等超参数时，使用 ALCE-ASQA 和 Natural Questions 数据集进行了大量实验。我们的评估在联合优化所有三个超参数时表明，MAB 基于的在线学习方法仅需 Grid Search 方法所需约 20% 的 LLM API 调用，即可在搜索空间中梯度显著的场景下实现 Recall@5 ≈ 0.8。此外，提出的 Hier-MAB 方法在更具挑战性的优化场景中优于其他基线方法。代码将在 https://aka.ms/autorag 公开。
引用
@article{arxiv.2406.19251,
title = {AutoRAG-HP: Automatic Online Hyper-Parameter Tuning for Retrieval-Augmented Generation},
author = {Jia Fu and Xiaoting Qin and Fangkai Yang and Lu Wang and Jue Zhang and Qingwei Lin and Yubo Chen and Dongmei Zhang and Saravan Rajmohan and Qi Zhang},
journal= {arXiv preprint arXiv:2406.19251},
year = {2024}
}