基于概念引导提示的可解释少样本视网膜疾病诊断
图像与视频处理
2025-03-06 v1 人工智能
计算机视觉与模式识别
摘要
深度学习的最新进展在利用彩色眼底图像分类视网膜疾病方面显示出显著潜力。然而，现有工作主要仅依赖图像数据，缺乏诊断决策的可解释性，并将医学专业人员主要视为真实标签的标注者。为填补这一空白，我们实施了两项关键策略：利用GPT模型的知识库提取视网膜疾病的可解释概念，并将这些概念作为语言组件融入提示学习中，以同时使用眼底图像及其关联概念来训练视觉-语言（VL）模型。我们的方法不仅改善了视网膜疾病分类，还丰富了少样本和零样本检测（新疾病检测），同时提供了基于概念的可解释模型解释性。我们在两个不同的视网膜眼底图像数据集上的广泛评估说明了通过我们的概念集成方法，VL模型基础的少样本方法在性能上取得了显著提升，在16样本学习和零样本（新类别）检测方面分别实现了约5.8%和2.7%的平均精度均值提升。我们的方法标志着面向真实世界临床应用的可解释且高效的视网膜疾病识别迈出了关键一步。
引用
@article{arxiv.2503.02917,
title = {Interpretable Few-Shot Retinal Disease Diagnosis with Concept-Guided Prompting of Vision-Language Models},
author = {Deval Mehta and Yiwen Jiang and Catherine L Jan and Mingguang He and Kshitij Jadhav and Zongyuan Ge},
journal= {arXiv preprint arXiv:2503.02917},
year = {2025}
}
备注
Accepted to Information Processing in Medical Imaging (IPMI) 2025