VaccineRAG：增强多模态大型语言模型对有害 RAG 样本的免疫力
计算与语言
2025-09-08 v1 人工智能
摘要
检索增强生成通过将检索和生成模块与外部知识相结合，提高了大型语言模型 (LLMs) 的响应准确性，在实时查询和视觉问答任务中展现出显著优势。然而，RAG 的有效性经常受到检索器精度的阻碍：许多输入到生成阶段的检索样本是不相关或具有误导性的，这构成了 LLMs 性能的关键瓶颈。为了应对这一挑战，我们引入了 VaccineRAG，一个基于思维链的检索增强生成新数据集。一方面，VaccineRAG 采用了一个基准测试，使用具有不同正负样本比例的数据来评估模型，系统地暴露了当前 LLMs 的固有缺陷。另一方面，它通过提示 LLMs 在生成最终答案之前为每个样本生成明确的思维链 (CoT) 分析，从而增强了模型的样本区分能力。此外，为了增强模型学习长序列复杂 CoT 内容的能力，我们提出了 Partial-GRPO。通过将 LLMs 的输出建模为多个组件而非单一整体，我们的模型能够对复杂序列做出更明智的偏好选择，从而增强其学习复杂 CoT 的能力。在 VaccineRAG 上的综合评估和消融实验验证了所提方案的有效性。代码和数据集将很快公开发布。
引用
@article{arxiv.2509.04502,
title = {VaccineRAG: Boosting Multimodal Large Language Models' Immunity to Harmful RAG Samples},
author = {Qixin Sun and Ziqin Wang and Hengyuan Zhao and Yilin Li and Kaiyou Song and Linjiang Huang and Xiaolin Hu and Qingpei Guo and Si Liu},
journal= {arXiv preprint arXiv:2509.04502},
year = {2025}
}