解剖区域引导对比式解码：缓解医学视觉语言模型幻觉的即插即用策略
计算机视觉与模式识别
2025-12-22 v1
摘要
医学视觉语言模型（MedVLMs）在临床应用方面展现出巨大的潜力，但因幻觉现象而受到制约，即模型常常无法从视觉证据中推导出答案，转而依赖于学习到的文本先验。现有针对MedVLMs的缓解策略存在不同局限：基于训练的方法依赖于高成本的专家标注，限制了可扩展性；而基于训练-free的干预措施如对比式解码虽数据高效，但应用全局、非针对性的纠正，在复杂的临床实践场景中可能效果不可靠。为此，我们提出解剖区域引导对比式解码（Anatomical Region-Guided Contrastive Decoding, ARCD），一种即插即用的策略，通过提供针对性、区域特定的指导来缓解幻觉。我们的模块利用解剖掩码引导三级对比式解码过程。在token、注意力和logits水平上动态重新加权，从而可验证地将模型注意力引导至指定区域，强化解剖理解并抑制事实错误的输出。广泛的实验在包括胸部X光、CT、脑部MRI和眼科超声在内的多样数据集上表明，我们的方法在改善区域理解、减少幻觉和提高整体诊断准确性方面均显示出效力。
引用
@article{arxiv.2512.17189,
title = {Anatomical Region-Guided Contrastive Decoding: A Plug-and-Play Strategy for Mitigating Hallucinations in Medical VLMs},
author = {Xiao Liang and Chenxi Liu and Zhi Ma and Di Wang and Bin Jing and Quan Wang and Yuanyuan Shi},
journal= {arXiv preprint arXiv:2512.17189},
year = {2025}
}