纠正注意力分散引起的视觉模糊以减少幻觉：算法与理论
计算机视觉与模式识别
2026-05-26 v1 人工智能
摘要
多模态大型语言模型（MLLMs）经常 suffer from 对象幻觉，而引发这种失败的视觉感知机制仍不为人所了解。在本工作中，我们揭示了幻觉与类似人类的注意力分散现象密切相关：当人类注意力被分散时，视觉清晰度下降，描述不准确；而在模型中，同样的机制表现为多头注意力中的空间不一致以及在解码期间对图像标记的注意力逐渐消失。我们进一步提供了理论见解，表明注意力分散增加模型复杂度并降低分类泛化能力。基于这些发现，我们提出了一种改进图像感知的注意力聚焦方法（AFIP），通过跨头注意力丰富来纠正注意力分散，通过动态历史注意力增强来强化视觉 grounding。大量实验在多个基准和模型上验证了 AFIP 在无需额外训练的情况下的有效性。
引用
@article{arxiv.2605.24602,
title = {Correcting Visual Blur Induced by Attention Distraction to Reduce Hallucinations: Algorithm and Theory},
author = {Quanjiang Li and Zhiming Liu and Wei Luo and Tingjin Luo and Chenping Hou},
journal= {arXiv preprint arXiv:2605.24602},
year = {2026}
}