用于缓解大型视觉语言模型中对象幻觉的黑盒视觉提示工程
计算机视觉与模式识别
2025-05-01 v1 人工智能
计算与语言
摘要
大型视觉语言模型(LVM)常常 suffer于对象幻觉，这削弱了其可靠性。我们惊讶地发现，简单的基于对象的视觉提示——在图像上叠加视觉线索(例如边界框、圆形)--可以显著缓解此类幻觉；然而，不同的视觉提示(VP)在有效性上存在差异。为此，我们提出了黑盒视觉提示工程(BBVPE)，以框架识别最佳VP以增强LVM响应，而无需访问模型内部。我们的 метод采用候选VP池并训练路由模型，以动态选择给定输入图像最有效的VP。这种黑盒方法具有模型中性特性，使其适用于开源和专有LVM。对POPE和CHAIR等基准的评估表明，BBVPE有效地减少了对象幻觉。
引用
@article{arxiv.2504.21559,
title = {Black-Box Visual Prompt Engineering for Mitigating Object Hallucination in Large Vision Language Models},
author = {Sangmin Woo and Kang Zhou and Yun Zhou and Shuai Wang and Sheng Guan and Haibo Ding and Lin Lee Cheong},
journal= {arXiv preprint arXiv:2504.21559},
year = {2025}
}
备注
NAACL 2025