大视觉语言模型的统一三元组级幻觉评估

尽管在视觉-语言推理方面表现出色，大视觉语言模型（LVLMs）可能会生成不存在于给定图像中的幻觉内容。大多数现有的LVLM幻觉基准仅限于评估与物体相关的幻觉。然而，对两个物体之间关系的潜在幻觉，即关系幻觉，仍然缺乏研究。为了弥补这一不足，我们设计了一个统一框架来同时测量LVLMs中的物体幻觉和关系幻觉。我们框架的核心思想是通过从LVLMs响应中提取的（物体，关系，物体）三元组来评估幻觉，使其易于推广到不同的视觉-语言任务。基于我们的框架，我们进一步引入了Tri-HE，这是一个新颖的三元组级幻觉评估基准，可以同时研究物体幻觉和关系幻觉。通过对Tri-HE的全面评估，我们观察到在现有LVLMs中，关系幻觉问题甚至比物体幻觉更为严重，突显了一个此前被忽视的可靠LVLMs问题。此外，基于我们的发现，我们设计了一种简单的无需训练的方法，有效缓解了LVLMs中的幻觉。我们的数据集和代码可在 https://github.com/wujunjie1998/Tri-HE 公开获取，以复现我们的实验。