增强皮肤病诊断：基于 SAM 的可解释视觉概念发现

当前的 AI 辅助皮肤图像诊断在分类皮肤癌方面已达到皮肤科医生水平，这得益于深度学习架构的快速进步。然而，与传统视觉任务不同，皮肤图像因标注数据稀缺、病情变化复杂以及需提供详细解读以确保患者安全而面临独特挑战。以往的分割方法试图减少图像噪声并提升诊断性能，但这些技术要求训练时获得细粒度的像素级ground truth掩码。相比之下，随着基础模型的兴起，Segment Anything Model (SAM) 被引入以实现可提示的分割，能够通过简单且有效的提示自动化分割过程。目前将 SAM 应用于皮肤病诊断的工作主要集中在皮肤诊断图像上，这类图像的病灶边界更易被识别，而非使用智能手机拍摄的临床照片则限制了这些方法在实际应用中的实用性。为克服通过非标准化协议获取的噪声临床照片带来的挑战并提升诊断可及性，我们提出了一种用于可解释皮肤皮损诊断的跨注意力融合框架。该方法利用 SAM 通过提示生成皮肤疾病的视觉概念，将局部视觉概念与全局图像特征融合以增强模型性能。在两个皮肤病数据集上的广泛评估表明，我们提出的方法在皮损诊断和可解释性方面均表现有效。