通过动态注意力局部分析多模态大语言模型中的幻觉问题
计算机视觉与模式识别
2025-11-18 v2
摘要
多模态大语言模型(MLLM)在图像描述和视觉问答等任务中取得了强大的性能，但仍容易产生幻觉，即生成的文本与视觉输入冲突。先前的工作将这部分问题与注意力不足有关，但现有的基于注意力的检测器和缓解方法通常在各层和头部上应用均匀调整，掩盖了错误来源。本文首先展示这些方法未能准确局部分析有问题的层。然后，我们引入两种诊断工具：层图像注意力熵(Layer Image Attention Entropy, LIAE)，用于标记异常层；图像注意力聚焦(Image Attention Focus, IAF)，用于对那些需要纠正的注意力头部进行评分。分析表明，LIAE 指出有故障的层，IAF 可靠地对值得纠正的注意力头部进行排序。基于这些信号，我们提出了动态层级熵和注意力融合(Dynamic Layer-wise Entropy and Attention Fusion, D-LEAF)，这是一种任务中性、基于注意力的方法，能够在推理期间动态局部分析和纠正错误，几乎没有额外开销。此外，通过建立 D-LEAF 与 DPO 之间的联系，我们为 D-LEAF 的有效性提供了理论依据。结果表明，我们的 D-LEAF 在标准描述基准上实现了53%的相对改进，在VQA中准确率和F1分数分别提高约4%，显著抑制了幻觉，同时保持了效率。
引用
@article{arxiv.2509.07864,
title = {Tracing and Mitigating Hallucinations in Multimodal LLMs via Dynamic Attention Localization},
author = {Tiancheng Yang and Lin Zhang and Jiaye Lin and Guimin Hu and Di Wang and Lijie Hu},
journal= {arXiv preprint arXiv:2509.07864},
year = {2025}
}