SSD-KD：一种用于皮肤镜图像轻量级皮肤病变分类的自监督多样化知识蒸馏方法

皮肤癌是最常见的恶性肿瘤之一，影响大量人群并给全球带来沉重的经济负担。过去几年中，由于人工智能的发展，计算机辅助诊断在医疗健康与临床实践中快速发展并取得巨大进步。然而，大多数皮肤癌检测研究一味追求高预测精度，却忽视了便携设备上的计算资源限制。在此情形下，知识蒸馏（KD）已被证明是一种高效工具，可在资源受限条件下提升轻量级模型的适应性，同时保持高水平的表征能力。为弥补这一差距，本研究专门提出一种称为 SSD-KD 的新方法，将多样化知识统一到一个通用的 KD 框架中用于皮肤疾病分类。我们的方法对实例内关系特征表示进行建模，并将其与现有 KD 研究相整合。双关系知识蒸馏架构以自监督方式训练，同时利用加权软化输出使学生对模型能够从教师模型捕获更丰富的知识。为验证方法有效性，我们在 ISIC 2019（一个大规模开放获取的皮肤疾病皮肤镜图像基准）上开展实验。实验表明，我们蒸馏得到的轻量级模型在 8 种不同皮肤疾病分类任务上以极小参数与计算需求达到了高达 85% 的准确率。消融实验证实了实例内与实例间关系知识整合策略的有效性。与最先进的知识蒸馏技术相比，所提方法在大规模皮肤镜数据库上的多疾病分类表现更优。