引导解码及其在检索增强生成中的关键作用
计算与语言
2025-09-09 v1
摘要
将大型语言模型(LLM)集成到各类应用中，推动了对结构化且可靠响应需求的增长。在检索增强生成(RAG)系统中，确保输出符合预期格式并最小化幻觉是一个关键挑战。本研究考察了引导解码在RAG系统中的作用，比较了Outlines、XGrammar和LM Format Enforcer三种方法在不同的多轮提示设置(0 轮、1 轮和2 轮)下的表现。通过评估成功率、幻觉率和输出质量，我们提供了这些方法性能和适用性的见解。我们的发现揭示了多轮交互如何影响引导解码，发现了可以为特定用例选择方法的意外性能差异。这一工作推进了对RAG系统中结构化输出生成的理解，提供了理论见解和实际部署指导。
引用
@article{arxiv.2509.06631,
title = {Guided Decoding and Its Critical Role in Retrieval-Augmented Generation},
author = {Özgür Uğur and Musa Yılmaz and Esra Şavirdi and Özay Ezerceli and Mahmut El Huseyni and Selva Taş and Reyhan Bayraktar},
journal= {arXiv preprint arXiv:2509.06631},
year = {2025}
}