超越感知错误：大型视觉语言模型中的语义固着
计算机视觉与模式识别
2026-04-15 v1 机器学习
摘要
大型视觉语言模型（VLM）通常依赖熟悉的语义先验，但现有评估未能清晰区分感知失败和规则映射失败。我们将这种行为研究为语义固着：即使提示指定了另一种同样有效的映射，也保留默认解释。为了隔离这种效应，我们引入了 VLM-Fix，一个在四个抽象策略游戏上的受控基准，它在配对的规则和逆规则公式下评估相同的终端棋盘状态。在 14 个开源和闭源 VLM 中，准确率一致地偏向标准规则，揭示了一个稳健的语义固着差距。提示干预支持这一机制：中性别名提示显著缩小了逆规则差距，而语义负载的别名则重新打开了差距。后训练强烈符合规则对齐：在一个规则上训练提高了同规则迁移，但损害了反规则迁移，而联合规则训练提高了更广泛的迁移。为了测试合成游戏之外的外部效度，我们在 VLMBias 上评估了类似的陌生化干预，并观察到相同的定性模式。最后，后层激活引导部分恢复了退化的性能，表明语义固着错误至少在后层表示中部分可编辑。项目页面、代码和数据集可在 https://maveryn.github.io/vlm-fix/ 获取。
引用
@article{arxiv.2604.12119,
title = {Beyond Perception Errors: Semantic Fixation in Large Vision-Language Models},
author = {Md Tanvirul Alam},
journal= {arXiv preprint arXiv:2604.12119},
year = {2026}
}