系统调控注意力不平衡导致视觉-语言模型说是

视觉-语言模型（VLM）的幻觉现象常与输入各模态之间的注意力分配不平衡有关：系统注意力、图像注意力和文本注意力。然而，现有缓解策略倾向于采用图像中心主义的解释，往往强化图像注意力而忽视其他模态的作用。在本研究中，我们评估了一种更为整体的方法，即系统调控的注意力不平衡解释，这将注意力不均衡归因于功能上冗余的系统权重，从而削弱了对图像和文本输入的注意力。我们表明，这一框架提供了了解 VLM 说是偏差（yes-bias）的有用经验视角。通过在系统注意力与图像、文本注意力之间进行因果性重新分配，可显著抑制这一偏差，常常优于现有方法。我们进一步提供了证据表明，系统调控的注意力不平衡通过鼓励模型依赖粗糙输入表征来促成说是偏差，这些表征对某些任务有效，但不适用于其他任务。总体而言，这些发现坚实地表明系统注意力是 VLM 幻觉的关键因素，并凸显了其作为缓解手段的潜力。