CDS4RAG：面向RAG的循环双序列超参数优化
机器学习
2026-05-12 v1 人工智能
计算与语言
性能
软件工程
摘要
检索增强生成(RAG)对检索器和生成器的众多超参数极为敏感，但仅使用给定查询进行优化具有挑战性，因为其复杂的相互作用和高昂的评估成本。现有算法在收敛速度上无效且缓慢，因其常将RAG视为单一的黑箱或仅优化部分超参数。本文提出CDS4RAG，一种通过新型循环双序列公式优化完整RAG超参数的框架。CDS4RAG的独特之处在于它区分了检索器和生成器的超参数，循环式地对其进行优化。这一范式允许我们设计细粒度的循环内预算分配，并通过跨循环种子加速生成器的优化。CDS4RAG也是一种与算法无关的框架，可与多种通用算法配合使用。通过在四个常见基准测试和两个主干LLM上的实验，我们揭示了CDS4RAG在21/24种情况下均显著提升基础算法的性能，并在所有案例中均显著超过最先进的算法，生成质量提升最高可达1.54倍。
引用
@article{arxiv.2605.08333,
title = {CDS4RAG: Cyclic Dual-Sequential Hyperparameter Optimization for RAG},
author = {Pengzhou Chen and Tao Chen},
journal= {arXiv preprint arXiv:2605.08333},
year = {2026}
}
备注
Accepted by main track at IJCAI 2026