看得更仔细！一种用于缓解视觉语言模型幻觉的对抗性参数编辑框架
计算机视觉与模式识别
2025-12-29 v1 机器学习
摘要
尽管视觉语言模型（VLM）因其广阔的实际应用前景而在人工智能界受到越来越多的关注，但它们持续表现出幻觉问题，即生成的输出与视觉输入不一致。近期研究将这些幻觉归因于VLM过度依赖语言先验以及视觉特征整合不足，并提出了启发式解码校准策略来缓解这些问题。然而，这些策略的不可训练特性本质上限制了它们的优化潜力。为此，我们提出了一种用于缓解VLM幻觉的对抗性参数编辑框架，该框架遵循“激活-定位-编辑对抗性”范式。具体来说，我们首先构建一个激活数据集，该数据集包含基于视觉特征的响应（正样本，注意力稳固地锚定在视觉特征上）和幻觉响应（负样本，反映大语言模型先验偏差和内部知识伪影）。接着，我们通过分析响应对的差异隐藏状态来识别关键的易产生幻觉的参数簇。然后，使用注入了对抗性调优前缀的提示对这些参数簇进行微调，这些前缀经过优化以最大化视觉忽略，从而迫使模型优先考虑视觉证据而非固有的参数偏差。在生成式和判别式VLM任务上的评估均证明了ALEAHallu在缓解幻觉方面的显著有效性。我们的代码可在https://github.com/hujiayu1223/ALEAHallu获取。
引用
@article{arxiv.2512.21999,
title = {Look Closer! An Adversarial Parametric Editing Framework for Hallucination Mitigation in VLMs},
author = {Jiayu Hu and Beibei Li and Jiangwei Xia and Yanjun Qin and Bing Ji and Zhongshi He},
journal= {arXiv preprint arXiv:2512.21999},
year = {2025}
}