探究医学视觉-语言模型的分布外检测
计算机视觉与模式识别
2025-03-04 v1
摘要
近期医学视觉-语言模型（VLM）取得显著进展，在图像分类任务中展现出强大的零样本泛化能力。然而，鉴于医学影像数据的高变异性和复杂性，这些模型在本领域检测分布外（OOD）数据的能力仍未得到充分探索。本文首次系统性调查医学VLM的OOD检测潜力。我们评估了多种先进VLM方法的OOD检测性能，涵盖通用和领域特定用途的模型。为准确反映现实挑战，我们引入了跨模态评估管道，用于基准测试全方位OOD检测，严格评估模型对语义偏移和协变量偏移的鲁棒性。此外，我们提出了一种新型层次化提示方法，显著提升了OOD检测性能。广泛实验验证了我们方法的有效性。代码已在https://github.com/PyJulie/Medical-VLMs-OOD-Detection]开放获取。
引用
@article{arxiv.2503.01020,
title = {Delving into Out-of-Distribution Detection with Medical Vision-Language Models},
author = {Lie Ju and Sijin Zhou and Yukun Zhou and Huimin Lu and Zhuoting Zhu and Pearse A. Keane and Zongyuan Ge},
journal= {arXiv preprint arXiv:2503.01020},
year = {2025}
}