基于先验启发损失的单共享网络参数高效多模态皮肤病变分类

在本研究中，我们提出了一种多模态方法，能够在单个网络内高效融合多尺度临床与皮肤镜特征，从而大幅减少模型参数。该方法包含三种新颖的融合方案。首先，不同于现有方法通常为临床和皮肤镜模态分别采用两个独立模型，我们验证了通过共享编码器参数并保留各模态特定分类器，即可学习多模态特征。其次，共享交叉注意力模块可替代独立模块，在多层实现两模态间的高效交互。第三，不同于现有方法对皮肤镜与临床分支进行等权优化，受皮肤镜图像比临床图像作用更显著这一先验知识启发，我们提出了一种新颖的偏置损失。该损失引导单共享网络优先处理皮肤镜信息而非临床信息，隐式地学习更适合模态特定任务的联合特征表示。在公认的 Seven-Point Checklist (SPC) 数据集与一个采集数据集上的大量实验表明，我们的方法在 CNN 与 Transformer 结构上均有效。此外，与当前先进方法相比，我们的方法在准确率和模型参数量上均展现出优越性。