当视觉压倒知识：视觉语言模型中知识冲突的解耦
计算机视觉与模式识别
2026-04-21 v2 人工智能
摘要
视觉语言模型（VLM）日益结合视觉和文本信息来执行复杂任务。然而，其内部知识与外部视觉输入之间的冲突可能导致幻觉和不可靠的预测。在这项工作中，我们通过引入 WHOOPS-AHA! 数据集（一组故意与内部常识知识相矛盾的多模态反事实查询）来研究 VLM 用于解决跨模态冲突的机制。通过 logit 检查，我们识别出一小组负责调解这种冲突的注意力头。通过干预这些注意力头，我们可以将模型导向其内部参数知识或视觉信息。我们的结果表明，这些注意力头上的注意力模式能够有效定位影响视觉覆盖的图像区域，与基于梯度的方法相比，提供了更精确的归因。
引用
@article{arxiv.2507.13868,
title = {When Seeing Overrides Knowing: Disentangling Knowledge Conflicts in Vision-Language Models},
author = {Francesco Ortu and Zhijing Jin and Diego Doimo and Alberto Cazzaniga},
journal= {arXiv preprint arXiv:2507.13868},
year = {2026}
}
备注
ACL 2026 (Main)