ODE：面向多模态大语言模型的开放式幻觉评估
计算与语言
2025-07-08 v4 计算机视觉与模式识别
摘要
幻觉是多模态大语言模型（MLLMs）面临的持续性挑战。然而，现有的幻觉评估基准通常是静态的，这可能忽略数据污染的潜在风险。为此，我们提出了 ODE，即一种用于评估 MLLMs 对象幻觉的开放集、动态协议。ODE 在对象存在层面和属性层面均进行评估。ODE 采用图结构表示现实世界对象概念、其属性以及它们之间的分布关联。该结构支持基于多样化分布标准提取概念组合，从而生成用于评估生成式和判别式任务中幻觉的结构化查询样本。通过生成新的样本、动态概念组合以及多样化的分布频率，ODE 缓解了数据污染风险并拓宽了评估范围。该协议适用于通用和专业场景，包括数据有限的场景。实验结果表明，我们的协议有效果，揭示了使用 ODE 生成的样本评估的 MLLMs 幻觉率更高，这表明潜在的数据污染。此外，这些生成的样本有助于分析幻觉模式和微调模型，为缓解 MLLMs 的幻觉提供了有效方法。
引用
@article{arxiv.2409.09318,
title = {ODE: Open-Set Evaluation of Hallucinations in Multimodal Large Language Models},
author = {Yahan Tu and Rui Hu and Jitao Sang},
journal= {arXiv preprint arXiv:2409.09318},
year = {2025}
}