基于置信度-证据贝叶斯增益的医学视觉问答确定性幻觉检测
人工智能
2026-03-24 v1
摘要
多模态大语言模型 (MLLM) 在医学视觉问答 (VQA) 方面展现出巨大潜力，但它们仍然容易产生幻觉，即生成与输入图像相矛盾的响应，这在临床环境中构成了严重风险。当前的幻觉检测方法，如语义熵 (SE) 和视觉增强语义熵 (VASE)，每个样本需要 10 到 20 次随机生成，并借助外部自然语言推理模型进行语义聚类，这使得它们计算成本高昂且难以实际部署。我们观察到，幻觉响应在模型自身的对数概率中表现出一种独特的特征：不一致的令牌级置信度和对视觉证据的弱敏感性。基于这一观察，我们提出了置信度-证据贝叶斯增益 (CEBaG)，这是一种确定性的幻觉检测方法，无需随机采样、无需外部模型，也无需特定任务的超参数。CEBaG 结合了两个互补信号：令牌级预测方差，它捕捉响应令牌间不一致的置信度；以及证据强度，它衡量图像相对于纯文本推理对每个令牌预测的改变程度。在四个医学 MLLM 和三个 VQA 基准（共 16 个实验设置）上的评估表明，CEBaG 在 16 个设置中的 13 个中取得了最高的 AUC，并且平均比 VASE 提高了 8 个 AUC 点，同时是完全确定性和自包含的。代码将在接收后提供。
引用
@article{arxiv.2603.21693,
title = {Deterministic Hallucination Detection in Medical VQA via Confidence-Evidence Bayesian Gain},
author = {Mohammad Asadi and Tahoura Nedaee and Jack W. O'Sullivan and Euan Ashley and Ehsan Adeli},
journal= {arXiv preprint arXiv:2603.21693},
year = {2026}
}