SHIELD：通过偏差与脆弱性防御抑制 LVLM 编码器中的幻觉
计算机视觉与模式识别
2026-02-11 v2 人工智能
摘要
大型视觉语言模型(Large Vision-Language Models, LVLMs)在多样化的跨模态任务中表现出色，但对象幻觉（即生成看似合理但不准确的对象描述）仍是重要挑战。与前期工作不同聚焦于LLM组件，本文首次将 LVLM 幻觉追溯至视觉编码器，识别出三类关键问题：统计偏差、固有偏差与脆弱性。为解决这些挑战，我们提出SHIELD，一个无训练框架，通过三策略抑制幻觉：重新加权视觉标记以减少统计偏差，引入噪声派生标记以抵消固有偏差，应用对抗攻击配合对比解码以应对脆弱性。实验表明，SHIELD在多样化基准和 LVLM 系列模型上有效抑制对象幻觉。此外，SHIELD在通用 LVLM 基准上实现强性能，凸显其广泛适用性。代码已公开于https://github.com/hukcc/SHIELD。
引用
@article{arxiv.2510.16596,
title = {SHIELD: Suppressing Hallucinations In LVLM Encoders via Bias and Vulnerability Defense},
author = {Yiyang Huang and Liang Shi and Yitian Zhang and Yi Xu and Yun Fu},
journal= {arXiv preprint arXiv:2510.16596},
year = {2026}
}
备注
ICLR 2026