用于多模态皮肤癌分类的联合-个体融合结构与融合注意力模块
计算机视觉与模式识别
2023-12-08 v1 人工智能
摘要
大多数基于卷积神经网络(CNN)的皮肤癌分类方法仅利用皮肤镜图像来获得结果。尽管已展现出良好的分类性能,但若能结合对皮肤科医生极具价值的患者元数据等临床信息,则可获得更为精确的结果。现有方法仅采用简单的联合融合结构(FS)与融合模块(FM)用于多模态分类,仍有空间通过探索更先进的 FS 与 FM 来提升精度。因此,本文从 FS 与 FM 两个角度设计了一种新的融合方法,将皮肤镜图像(或临床图像)与患者元数据相结合用于皮肤癌分类。首先,我们提出一种联合-个体融合(JIF)结构,可同时学习多模态数据的共享特征并保留其特有特征。其次,我们引入一种融合注意力(FA)模块,基于自注意力与互注意力机制增强最相关的图像与元数据特征,以支撑决策流程。我们在三个不同的公开数据集上,将所提出的 JIF-MMFA 方法与其他前沿融合方法进行比较。结果表明,我们的 JIF-MMFA 方法在所有测试的 CNN 主干网络上均提升了分类结果,并在三个公开数据集上优于其他融合方法,验证了该方法的有效性与鲁棒性。
引用
@article{arxiv.2312.04189,
title = {Joint-Individual Fusion Structure with Fusion Attention Module for Multi-Modal Skin Cancer Classification},
author = {Peng Tang and Xintong Yan and Yang Nan and Xiaobin Hu and Xiaobin Hu and Bjoern H Menzee. Sebastian Krammer and Tobias Lasser},
journal= {arXiv preprint arXiv:2312.04189},
year = {2023}
}
备注
submitted to Pattern Recognition journal before 2022