深层隐喻：通过注意力透镜解读、检测并缓解大型视觉语言模型中的对象幻觉
计算机视觉与模式识别
2025-04-02 v3
摘要
大型视觉语言模型（LVLMs）中的幻觉显著削弱了其可靠性，促使研究者探索幻觉的成因。然而，大多数研究主要关注语言方面，而非视觉方面。本文关注 LVLMs 处理视觉信息的方式以及这种方式是否导致幻觉。首先，我们使用注意力透镜识别 LVLMs 处理视觉数据的阶段，发现中间层至关重要。此外，我们发现这些层可进一步划分为两个阶段：'视觉信息丰富'和'语义细化'，分别将视觉数据传递到对象令牌并通过文本对其进行解释。通过分析视觉信息丰富阶段的注意力模式，我们发现真实令牌持续接收更高的注意力权重，而幻觉令牌则相反，这强烈指示了幻觉发生。进一步检查多头注意力图后，我们发现幻觉令牌常常源于来自不一致对象的头部之间的交互。基于这些见解，我们提出了一种简单的方法，在推理时通过整合各头部的信息来调整视觉注意力。广泛的实验表明，该方法在不增加额外训练成本的情况下有效缓解了主流 LVLMs 中的幻觉问题。代码已公开于 https://github.com/ZhangqiJiang07/middle_layers_indicating_hallucinations。
引用
@article{arxiv.2411.16724,
title = {Devils in Middle Layers of Large Vision-Language Models: Interpreting, Detecting and Mitigating Object Hallucinations via Attention Lens},
author = {Zhangqi Jiang and Junkai Chen and Beier Zhu and Tingjin Luo and Yankun Shen and Xu Yang},
journal= {arXiv preprint arXiv:2411.16724},
year = {2025}
}