视觉语言模型中的源模态监控
计算与语言
2026-04-27 v1
摘要
我们定义并研究源模态监控——即多模态模型跟踪和传递信息来源的能力。我们将源模态监控视为更一般绑定问题的一个实例，评估模型在绑定单词（如提示中提供的"image"）到特定输入组件和上下文（即实际图像）的程度。跨越11个执行目标模态信息检索任务的视觉语言模型（VLMs）的实验，我们发现语法信号和语义信号都发挥重要作用，但在模态分布高度不同的情况下，后者往往占主导地位。我们讨论了这些发现对模型鲁棒性以及日益多模态代理系统的影响。
引用
@article{arxiv.2604.22038,
title = {Source-Modality Monitoring in Vision-Language Models},
author = {Etha Tianze Hua and Tian Yun and Ellie Pavlick},
journal= {arXiv preprint arXiv:2604.22038},
year = {2026}
}
备注
All resources will be available at https://github.com/ethahtz/source-modality-monitoring