HII-DPO：通过准确的幻觉诱导对抗样本消除幻觉
计算机视觉与模式识别
2026-02-12 v1
摘要
大型视觉语言模型 (VLMs) 在多种多模态任务上取得了显著成功，但仍然容易受到源于内在语言偏置的幻觉影响。尽管近期取得了进展，但现有的幻觉缓解方法常常忽视了由语言偏置驱动的幻觉模式。本工作设计了一种新型管道，用于准确合成幻觉诱导图像 (Hallucination-Inducing Images, HIIs)。通过使用合成的 HIIs，我们揭示了一致的场景条件下幻觉模式：模型倾向于在视觉证据被移除后提及与场景高度典型的物体。为量化 VLMs 对这一幻觉模式的易感性，我们建立了遮蔽对象幻觉 (Masked-Object-Hallucination, MOH) 基准，以严格评估现有最先进的对齐框架。最后，我们利用 HIIs 构建高质量的偏好数据集进行细粒度对齐。实验结果表明，我们的方法有效缓解了幻觉，同时保持了通用模型能力。具体而言，我们的方法在标准幻觉基准测试中优于当前最先进方法，提升幅度可达 。
引用
@article{arxiv.2602.10425,
title = {HII-DPO: Eliminate Hallucination via Accurate Hallucination-Inducing Counterfactual Images},
author = {Yilin Yang and Zhenghui Guo and Yuke Wang and Omprakash Gnawali and Sheng Di and Chengming Zhang},
journal= {arXiv preprint arXiv:2602.10425},
year = {2026}
}