CIFF-Net：用于黑色素瘤诊断的上下文图像特征融合网络
计算机视觉与模式识别
2023-03-08 v1
摘要
黑色素瘤被认为是致死性最高的皮肤癌类型，约占皮肤癌死亡总数的 75\%。为诊断黑色素瘤，临床医生同时评估和比较同一患者的多个皮肤病灶，以收集关于皮肤模式和异常的上下文信息。迄今为止，这种并发多图像比较方法尚未被现有的基于深度学习的方案所探索。本文基于上下文图像特征融合（CIFF）提出了一种深度神经网络（CIFF-Net），该网络通过并发多图像比较方法将患者级上下文信息整合到传统方法中，以改进黑色素瘤诊断。所提出的多核自注意力（MKSA）模块通过在自注意力机制中引入多核操作，实现了对所提取特征的更好泛化。为同时利用自注意力和上下文特征注意力，提出了一种名为上下文特征融合（CFF）的注意力引导模块，将来自不同上下文图像提取的特征整合为单一特征向量。最后，在比较上下文特征融合（CCFF）模块中，主特征与上下文特征被并发比较以生成比较特征。在 ISIC-2020 数据集上相较传统方法取得了显著的性能提升，验证了所提上下文学习方案的有效性。
引用
@article{arxiv.2303.03672,
title = {CIFF-Net: Contextual Image Feature Fusion for Melanoma Diagnosis},
author = {Md Awsafur Rahman and Bishmoy Paul and Tanvir Mahmud and Shaikh Anowarul Fattah},
journal= {arXiv preprint arXiv:2303.03672},
year = {2023}
}