面向黑色素瘤检测的知识蒸馏方法
计算机视觉与模式识别
2022-10-18 v1 人工智能
机器学习
摘要
黑色素瘤被视为所有皮肤癌中最具威胁的一种。迫切需要有能够辅助早期检测黑色素瘤并使患者及时治疗的系统。近期方法倾向于基于机器学习的系统，将任务设定为图像识别，把皮肤病变的 dermoscopic 图像标记为黑色素瘤或非黑色素瘤。尽管这些方法在准确率方面展现出有前景的结果，但其训练计算开销相当大，令人质疑这些模型在临床环境或内存受限设备上的部署能力。为解决此问题，我们专注于构建简单且性能良好的模型，其层数较少（少于十层，而非数百层），以及可学习参数更少（0.26 百万（M），而使用知识蒸馏时为 42.5M），目标是从 dermoscopic 图像中检测黑色素瘤。首先，我们使用 ResNet-50 训练教师模型以检测黑色素瘤。利用该教师模型，我们训练称为蒸馏学生网络（DSNet）的学生模型，其约有 0.26M 参数，通过知识蒸馏达到 91.7% 的准确率。我们与 ImageNet 预训练模型如 MobileNet、VGG-16、Inception-V3、EfficientNet-B0、ResNet-50 和 ResNet-101 进行比较。我们发现，相较于其他预训练模型，我们的方法在推理运行时间方面表现良好，2.57 秒对比 14.55 秒。我们发现 DSNet（0.26M 参数）小 15 倍，在黑色素瘤与非黑色素瘤检测的精确率、召回率和 F1 分数上均持续优于 EfficientNet-B0（4M 参数）。
引用
@article{arxiv.2210.08086,
title = {Knowledge Distillation approach towards Melanoma Detection},
author = {Md. Shakib Khan and Kazi Nabiul Alam and Abdur Rab Dhruba and Hasib Zunair and Nabeel Mohammed},
journal= {arXiv preprint arXiv:2210.08086},
year = {2022}
}