TempPerturb-Eval：内部温度与外部扰动在 RAG 鲁棒性中的联合效应

Yongxin Zhou; Philippe Mulhem; Didier Schwab

TempPerturb-Eval：内部温度与外部扰动在 RAG 鲁棒性中的联合效应

计算与语言 2026-03-23 v2 人工智能

作者: Yongxin Zhou , Philippe Mulhem , Didier Schwab

摘要

检索增强生成（RAG）系统的评估通常单独考察检索质量和生成参数如温度，忽略了它们之间的相互作用。本工作提出了一套系统化的研究框架，探讨文本扰动（模拟噪声检索）如何与温度设置交互作用，涵盖多次 LLM 运行。我们构建了完备的 RAG 扰动-温度分析框架，对检索文档施加三种不同类型的扰动，并在不同温度设置下进行测试。通过在 HotpotQA 上进行大量实验，使用开源和专有 LLM，我们展示了性能退化遵循distinct模式：高温度设置持续放大对扰动的脆弱性，而某些扰动类型在温度范围内表现出非线性敏感性。我们的工作贡献包括：(1) 评估 RAG 鲁棒性的诊断基准；(2) 量化扰动-温度相互作用的分析框架；(3) 在噪声检索条件下进行模型选择和参数调优的实用指南。

关键词

RAG 鲁棒性温度扰动文本扰动 LLM 评估噪声检索

引用

@article{arxiv.2512.01183,
  title  = {TempPerturb-Eval: On the Joint Effects of Internal Temperature and External Perturbations in RAG Robustness},
  author = {Yongxin Zhou and Philippe Mulhem and Didier Schwab},
  journal= {arXiv preprint arXiv:2512.01183},
  year   = {2026}
}

备注

LREC 2026, Palma, Mallorca (Spain), 11-16 May 2026

TempPerturb-Eval：内部温度与外部扰动在 RAG 鲁棒性中的联合效应

摘要

关键词

引用

备注

相关论文