MHSA：通过在 LVLMs 中引导注意力来缓解幻觉的轻量框架

大型视觉语言模型 (LVLMs) 已在多种多模态任务中取得显著成绩，但仍因生成与视觉输入不一致的内容而持续 suffer from 幻觉。先前工作 DHCP (Detecting Hallucinations by Cross-modal Attention Pattern) 从交叉注意力模式的角度探索了幻觉检测，但未解决幻觉缓解问题。本文提出 MHSA (Mitigating Hallucinations via Steered Attention)，一个轻量框架，通过学习纠正 LVLMs 中的交叉注意力模式来缓解幻觉。MHSA 训练一个简单的三层 MLP 生成器来产生纠正后的注意力，由 DHCP 判别器和 LVLM 本身的监督信号指导。在推理期间，MHSA 通过简单替换原始交叉注意力为纠正后的注意力，即可在各种数据集和 LVLMs 上缓解 discriminative 与 generative 幻觉，而无需修改任何 LVLM 参数。通过将交叉注意力机制从幻觉检测扩展到幻觉缓解，MHSA 为 LVLMs 幻觉研究提供了新视角，帮助提升其可靠性。