基于嵌套多模态对比学习的皮肤病灶表型分析
计算机视觉与模式识别
2026-01-23 v2 人工智能
机器学习
摘要
我们提出了 SLIMP (Skin Lesion Image-Metadata Pre-training)，通过一种新颖的嵌套对比学习方法来学习皮肤病灶的丰富表征，该方法能够捕捉图像与元数据之间的复杂关系。由于成像条件（光照、颜色、分辨率、距离等）差异巨大且缺乏临床与表型上下文，仅基于图像的黑色素瘤检测和皮肤病灶分类面临重大挑战。临床医生通常采用整体方法来评估患者的风险水平，并决定哪些病灶可能是恶性的且需要切除，同时考虑患者的病史以及患者其他病灶的外观。受此启发，SLIMP 将单个皮肤病灶的外观和元数据与涉及其病历和其他临床相关信息的患者级元数据相结合。通过在学习过程中充分利用所有可用的数据模态，与其他预训练策略相比，所提出的预训练策略在下游皮肤病灶分类任务中提升了性能，凸显了所学表征的质量。
引用
@article{arxiv.2505.23709,
title = {Skin Lesion Phenotyping via Nested Multi-modal Contrastive Learning},
author = {Dionysis Christopoulos and Sotiris Spanos and Eirini Baltzi and Valsamis Ntouskos and Konstantinos Karantzalos},
journal= {arXiv preprint arXiv:2505.23709},
year = {2026}
}