SegSub：评估视觉语言模型中知识冲突与幻觉鲁棒性
计算机视觉与模式识别
2025-07-18 v2 人工智能
计算与语言
机器学习
摘要
视觉语言模型（VLM）在多模态推理方面表现出 sophisticated 的能力，但在面对知识冲突时容易产生幻觉，阻碍其在信息敏感场景的部署。虽然已有研究针对单模态模型探讨鲁棒性，但多模态领域缺乏对跨模态知识冲突的系统性调查。本研究引入 \segsub，一个用于应用有针对性图像扰动来调查 VLM 对知识冲突抗性的框架。我们的分析揭示了不同的脆弱模式：尽管 VLM 对参数冲突具有鲁棒性（仅 20% 遵循率），但在识别反事实条件（<30% 准确率）和解决来源冲突（<1% 准确率）方面表现显著薄弱。上下文丰富度与幻觉率之间的相关性（r = -0.368, p = 0.003）揭示了可能引发幻觉的图像类型。通过针对基准数据集进行有针对性的微调，我们展示了 VLM 知识冲突检测能力的提升，为开发信息敏感环境中抗幻觉的多模态系统奠定了基础。
引用
@article{arxiv.2502.14908,
title = {SegSub: Evaluating Robustness to Knowledge Conflicts and Hallucinations in Vision-Language Models},
author = {Peter Carragher and Nikitha Rao and Abhinand Jha and R Raghav and Kathleen M. Carley},
journal= {arXiv preprint arXiv:2502.14908},
year = {2025}
}