用负对象存在评估（NOPE）度量视觉-语言模型中的对象幻觉
计算机视觉与模式识别
2024-08-14 v2 计算与语言
摘要
对象幻觉在视觉-语言（VL）模型中构成重大挑战，常导致生成包含不存在对象的荒谬或不忠实回答。然而，缺乏评估 VL 模型中对象幻觉的通用度量，阻碍了我们理解并缓解该问题。本文提出 NOPE（Negative Object Presence Evaluation，负对象存在评估），一种通过视觉问答（VQA）评估 VL 模型对象幻觉的新基准。我们提出一种高性价比且可扩展的方法，利用大语言模型为 NOPE 生成 29.5k 高质量合成负代词（NegP）数据。我们广泛考察了 10 个 SOTA VL 模型在辨别视觉问题中对象不存在方面的表现，其真值答案记为 NegP（如“none”）。此外，我们在 9 个其他 VQA 数据集上评估了它们的标准性能。实验表明，没有 VL 模型能免于对象幻觉的脆弱性，所有模型在 NegP 上准确率均低于 10%。我们还揭示，词汇多样的视觉问题、大范围的问题类型以及场景相关对象会加剧 VL 模型的对象幻觉风险。
引用
@article{arxiv.2310.05338,
title = {Negative Object Presence Evaluation (NOPE) to Measure Object Hallucination in Vision-Language Models},
author = {Holy Lovenia and Wenliang Dai and Samuel Cahyawijaya and Ziwei Ji and Pascale Fung},
journal= {arXiv preprint arXiv:2310.05338},
year = {2024}
}
备注
Published in ALVR Workshop at ACL 2024