基于概念的可解释性皮肤病变诊断：使用视觉-语言模型的探索

基于概念的模型天然适用于开发内在可解释的皮肤病变诊断，因为医学专家是基于病变的一组视觉模式做决策。然而，这些模型的开发依赖于概念标注数据集的存在，而由于标注过程所需的专业知识和专长，此类数据集十分匮乏。在本文中，我们展示视觉-语言模型可用于缓解对大量概念标注样本的依赖。具体而言，我们提出一种嵌入学习策略，使用基于概念的描述作为文本嵌入，将 CLIP 适配到皮肤病变分类的下游任务。我们的实验表明，视觉-语言模型在使用概念作为文本嵌入时不仅获得更好精度，而且仅需更少的概念标注样本即可达到与专为自动概念生成设计的方法相当的性能。