分析与缓解对象幻觉：一种训练偏差视角
计算机视觉与模式识别
2025-08-07 v1 计算与语言
摘要
随着训练数据的规模不断增加，大型视觉语言模型（LVLMs）在多模态能力方面取得显著提升，但仍然存在幻觉问题，即生成与视觉输入不一致的文本。此现象促使我们系统性地调查训练数据在幻觉中的作用。我们引入了新的基准测试 POPEv2，包含来自 LVLMs 训练数据中被遮蔽特定对象的反事实图像。通过对 POPEv2 进行全面评估，我们发现当前 LVLMs 存在训练偏差：它们未能充分利用训练数据，对在训练期间看到的图像更容易产生幻觉。具体而言，这些模型在反事实图像上表现不佳，常对遮蔽对象的问题错误地回答“是”。为理解这一问题，我们对模型内部组件进行探针实验，发现该训练偏差主要位于语言模型（LM）头部。基于此，我们提出了 Obliviate，这是一种高效轻量级的“遗忘”方法，通过训练偏差遗忘来缓解对象幻觉。Obliviate 将训练数据中模型输出与真实标签之间的差异作为偏差的代理，并采用参数和数据高效的微调策略，仅更新 LM 头部。大量实验表明，我们的方法有效。仅重用训练数据并更新约 2% 的参数，Obliviate 在判别和生成任务中均显著降低了幻觉发生率。进一步地，它在模型规模（2B至72B）和训练数据量方面表现出强大的可扩展性，并在对象级幻觉之外的其他幻觉类型上展现出良好的泛化能力。我们的代码和数据将公开释放。
引用
@article{arxiv.2508.04567,
title = {Analyzing and Mitigating Object Hallucination: A Training Bias Perspective},
author = {Yifan Li and Kun Zhou and Wayne Xin Zhao and Lei Fang and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2508.04567},
year = {2025}
}