用于多标签皮肤病变分类的自监督多模态学习
计算机视觉与模式识别
2023-11-17 v2
摘要
皮肤病变的临床诊断涉及对皮肤镜和临床模态的分析。皮肤镜图像提供表面结构的详细视图,而临床图像提供互补的宏观信息。黑色素瘤的视觉诊断也基于七点检查表,涉及识别不同的视觉属性。近来,卷积神经网络(CNNs)等监督学习方法在使用皮肤镜和临床模态(多模态)时表现出优异性能。检查表中的七种不同视觉属性也被用于进一步提升诊断效果。然而,这些方法的性能仍依赖于大规模标注数据的可用性。标注数据集的获取是一项昂贵且耗时的任务,多属性标注更是如此。为克服此限制,我们提出一种用于多模态皮肤病变分类的自监督学习(SSL)算法。我们的算法通过最大化来自不同视图的配对皮肤镜与临床图像之间的相似性来实现多模态学习。此外,我们通过聚类分析生成代表七种属性的替代伪多标签。我们还提出一个标签关系感知模块,以细化每个伪标签嵌入并捕捉伪多标签之间的相互关系。我们使用基准良好的七点皮肤病变数据集验证了算法的有效性。我们的结果表明,该算法取得了优于其他最先进 SSL 方法的性能。
引用
@article{arxiv.2310.18583,
title = {Self-Supervised Multi-Modality Learning for Multi-Label Skin Lesion Classification},
author = {Hao Wang and Euijoon Ahn and Lei Bi and Jinman Kim},
journal= {arXiv preprint arXiv:2310.18583},
year = {2023}
}