通过稳健局部感知搜索消除对象幻觉
计算机视觉与模式识别
2025-06-10 v1 计算与语言
摘要
近期多模态大语言模型 (MLLM) 的快速发展使其能够有效整合视觉与语言，解决多种下游任务。然而，尽管取得了显著成功，这些模型仍会出现幻觉现象，即输出看似合理但与图像内容不符。为缓解此问题，我们提出了 Local Perception Search (LPS)，这是一种在推理期间使用的解码方法，既简单又无需训练，却能有效抑制幻觉现象。该方法利用局部视觉先验信息作为价值函数来纠正解码过程。此外，我们观察到局部视觉先验对模型性能的影响在图像噪声水平较高的场景中尤为显著。值得注意的是，LPS 是一种即插即用的方法，与各种模型兼容。广泛的实验在常用幻觉基准测试和噪声数据上表明，LPS 在降低幻觉发生率方面显著优于基线模型，尤其在噪声环境下表现出色。
引用
@article{arxiv.2506.06729,
title = {Mitigating Object Hallucination via Robust Local Perception Search},
author = {Zixian Gao and Chao Yang and Zhanhui Zhou and Xing Xu and Chaochao Lu},
journal= {arXiv preprint arXiv:2506.06729},
year = {2025}
}