基于对比学习和LLM报告生成的可解释黑色素瘤诊断
计算机视觉与模式识别
2025-12-09 v1 人工智能
摘要
深度学习在黑色素瘤分类中已展现出专家级性能，使其成为临床皮肤病学中的强大工具。然而，模型不透明性和缺乏可解释性仍然是临床采用的关键障碍，因为临床医生往往难以信任黑箱模型的决策过程。为了弥补这一差距，我们提出了一个用于黑色素瘤的跨模态可解释框架（CEFM），它以对比学习作为实现可解释性的核心机制。具体而言，CEFM将黑色素瘤诊断的临床标准——即不对称性、边界和颜色（ABC）——通过双投影头映射到视觉Transformer嵌入空间，从而将临床语义与视觉特征对齐。随后，对齐的表示通过自然语言生成被转化为结构化的文本解释，在原始图像数据和临床解释之间建立了透明的联系。在公开数据集上的实验展示了92.79%的准确率和0.961的AUC，以及在多个可解释性指标上的显著提升。定性分析进一步表明，学习到的嵌入的空间排列与临床医生应用ABC规则的方式相一致，有效弥合了高性能分类与临床信任之间的差距。
引用
@article{arxiv.2512.06105,
title = {Explainable Melanoma Diagnosis with Contrastive Learning and LLM-based Report Generation},
author = {Junwen Zheng and Xinran Xu and Li Rong Wang and Chang Cai and Lucinda Siyun Tan and Dingyuan Wang and Hong Liang Tey and Xiuyi Fan},
journal= {arXiv preprint arXiv:2512.06105},
year = {2025}
}
备注
AAAI-26-AIA