一种多模态多标签皮肤皮损分类的新颖视角
计算机视觉与模式识别
2024-09-20 v1
摘要
基于深度学习的计算机辅助诊断（CAD）方法对于皮肤病疗效依赖于分析多种数据模态（即临床数据+裂纹图像和患者元数据），并解决多标签分类的挑战。当前方法倾向于依赖有限的多模态技术，将多标签问题视为多个多分类问题，忽略不平衡学习和多标签相关性问题。本文引入创新的皮肤皮损分类器，利用基于多模态多标签转换器的模型（SkinM2Former）。对于多模态分析，我们引入三模态交叉注意力转换器（TMCT），在转换器编码器的不同特征层面融合三种图像和元数据模态。对于多标签分类，我们引入多头注意力（MHA）模块来学习多标签相关性，并辅以一种处理多标签和不平衡学习问题的优化方法。SkinM2Former在公开数据集Derm7pt上实现了77.27%的平均准确率和77.85%的平均诊断准确率，超越了当前最先进（SOTA）方法。
关键词
引用
@article{arxiv.2409.12390,
title = {A Novel Perspective for Multi-modal Multi-label Skin Lesion Classification},
author = {Yuan Zhang and Yutong Xie and Hu Wang and Jodie C Avery and M Louise Hull and Gustavo Carneiro},
journal= {arXiv preprint arXiv:2409.12390},
year = {2024}
}
备注
Accepted by WACV2025