聚光灯下的谁：多模态检索增强生成中隐藏的偏差
计算与语言
2025-06-16 v1 人工智能
摘要
多模态检索增强生成（RAG）系统已成为知识密集型和开放域任务中的关键组件。随着检索复杂度的增加，确保这些系统的鲁健性至关重要。然而，当前 RAG 模型对证据呈现顺序高度敏感，往往导致性能不稳定和偏置推理，尤其当检索项目数量或模态多样性增加时。这引出一个核心问题：检索证据的位置如何影响多模态 RAG 性能？为此，我们提出了多模态 RAG 系统中位置偏差的首个全面研究。通过在文本单模态、图像单模态和混合模态任务中的受控实验，我们观察到证据位置呈现 U 形准确率曲线。为量化此偏差，我们引入位置敏感指数（），并开发了可追溯解码器各层注意力分配模式的可视化框架。我们的结果表明，多模态交互会加剧单模态设置下的位置偏差，且该偏差随检索范围呈对数函数增长。这些发现为 RAG 中的位置感知分析提供了理论和实证基础，突显了证据重排或去偏策略在构建更可靠和公平的生成系统方面的必要性。
引用
@article{arxiv.2506.11063,
title = {Who is in the Spotlight: The Hidden Bias Undermining Multimodal Retrieval-Augmented Generation},
author = {Jiayu Yao and Shenghua Liu and Yiwei Wang and Lingrui Mei and Baolong Bi and Yuyao Ge and Zhecheng Li and Xueqi Cheng},
journal= {arXiv preprint arXiv:2506.11063},
year = {2025}
}