并非盲目而是被压制：通过对抗反常识均衡重平衡视觉与语言
计算机视觉与模式识别
2026-05-12 v1 机器学习
摘要
在多模态大语言模型的解码过程中，注意力常常异常地集中在无关紧要的图像标记上。虽然现有研究将其视为无效噪声，强行将注意力重定向以迫使关注关键图像信息，但我们认为这些标记是视觉与叙事逻辑的关键载体，而此类强制性纠正会恶化视觉-语言不平衡。采用“解码即游戏”的视角，我们揭示幻觉源于语言先验与视觉信息之间的均衡失调。我们提出了对抗性反常识均衡（Adversarial Counter-Commonsense Equilibrium, ACE），一个无需训练的框架，通过反常识补丁扰动视觉上下文。利用真实视觉特征在扰动下保持稳定，而幻觉则波动的事实，ACE 实现动态的游戏解码策略。该方法精确抑制对扰动敏感的先验，同时补偿稳定的视觉信号以恢复平衡。大量实验表明，ACE 作为一种即插即用策略，能在几乎没有推理开销的情况下提升模型的可信度。
引用
@article{arxiv.2605.10676,
title = {Not Blind but Silenced: Rebalancing Vision and Language via Adversarial Counter-Commonsense Equilibrium},
author = {Qingxin Xiao and Peilin Zhao and Yangyang Zhao and Lingwei Dang and Qingyao Wu},
journal= {arXiv preprint arXiv:2605.10676},
year = {2026}
}