视觉语言模型中模态冲突理解的挑战
机器学习
2025-09-04 v1
摘要
本文凸显了在视觉语言模型（VLM）中分解冲突检测与冲突解决的挑战，并提出了潜在方法，包括使用线性探针的监督性度量和基于注意力模式的组分析。我们对 LLaVA-OV-7B 这一最新 VLM 进行机制性调查，该模型在面对冲突多模态输入时表现出多样化的解决行为。我们的结果表明，在模型中间层中可线性解码的冲突信号存在，与冲突检测和解决相关的注意力模式在网络不同阶段呈现差异。这些发现支持检测和解决是功能上不同机制的假设。我们讨论了这种分解如何使解释性更具可操作性，并为改进面对挑战多模态环境中模型鲁棒性提供了可针对性的干预方法。
引用
@article{arxiv.2509.02805,
title = {Challenges in Understanding Modality Conflict in Vision-Language Models},
author = {Trang Nguyen and Jackson Michaels and Madalina Fiterau and David Jensen},
journal= {arXiv preprint arXiv:2509.02805},
year = {2025}
}