通过联合随机近似提高检索增强生成模型的端到端训练
计算与语言
2026-04-23 v3
摘要
检索增强生成（RAG）已成为结合参数记忆与非参数记忆的广为人知的范式。RAG模型由两个串联连接的组件（检索器和生成器）组成。RAG模型端到端优化的主要挑战之一是需要从知识库中对相关段落（建模为离散潜在变量）进行边际化。传统的top-K边际化和变分RAG（VRAG） suffer from偏差或高方差梯度估计。在本文中，我们提出并开发了基于联合随机近似（JSA）的RAG端到端训练，称为JSA-RAG。JSA算法是EM算法的随机扩展，在估计离散潜在变量模型方面尤为强大。我们在五个数据集上进行了大量实验，涵盖两个任务（开域问答、知识 grounding 对话），表明JSA-RAG显著优于vanilla RAG和VRAG。进一步分析显示，从生成、检索和低方差梯度估计等多个角度，JSA-RAG的有效性得到了验证。
引用
@article{arxiv.2508.18168,
title = {Improving End-to-End Training of Retrieval-Augmented Generation Models via Joint Stochastic Approximation},
author = {Hongyu Cao and Yuxuan Wu and Yucheng Cai and Xianyu Zhao and Zhijian Ou},
journal= {arXiv preprint arXiv:2508.18168},
year = {2026}
}