JI-ADF：面向多模态皮肤 Lesion 分类的联合-个体学习与自适应决策融合
计算机视觉与模式识别
2026-05-01 v1
摘要
皮肤 Lesion 分类是早期皮肤学诊断的关键任务，但许多现有计算机辅助系统主要依赖皮肤图像，未充分利用临床实践中常用的多模态证据。为此，我们提出了 JI-ADF，一个包含 dermoscopic 图像、临床照片和结构化患者元数据的三模态深度学习框架，用于临床导向的皮肤 Lesion 分类。该架构结合联合多模态表征学习与模态特定的辅助监督，以及一种自适应决策融合机制，可在每个样本上动态校准模态贡献。为增强跨模态推理同时保留模态特定证据，我们进一步引入了多模态融合注意力 (MMFA) 模块。我们在大型 MILK10k 数据集上评估了 JI-ADF，后者反映了真实世界临床获取条件和严重类别不平衡。该方法在 Lesion 类别之间表现出色且均衡，提高了灵敏度和 Dice 评分，同时保持高特异度和良好校准。广泛的分析，包括模态消融、校准评估和 Grad-CAM 可视化，进一步确认了该模型的鲁棒性和临床意义行为。这些结果表明，JI-ADF 为真实世界临床环境中的多模态皮肤 Lesion 分类提供了可靠且实用的基础。
引用
@article{arxiv.2604.27343,
title = {JI-ADF: Joint-Individual Learning with Adaptive Decision Fusion for Multimodal Skin Lesion Classification},
author = {Phan Nguyen and Dat Cao and Quang Hien Kha and Hien Chu and Minh H. N. Le and Trang Quoc Thao Pham and Nguyen Quoc Khanh Le},
journal= {arXiv preprint arXiv:2604.27343},
year = {2026}
}