基于联合深度学习模型的电阻抗光谱与皮肤镜黑色素瘤检测
计算机视觉与模式识别
2020-02-06 v2
摘要
皮肤病变的初步评估通常基于皮肤镜图像。由于这是一项困难且耗时的任务，已有利用皮肤镜图像的机器学习方法被提出以辅助人类专家。其他方法则研究了电阻抗光谱（EIS）作为临床决策支持系统的基础。这两种方法代表了测量皮肤病变特性的不同方式：皮肤镜依赖可见光而 EIS 使用电流。因此，这两种方法可能携带用于病变分类的互补特征。为此，我们提出考虑 EIS 与皮肤镜联合的深度学习模型用于黑色素瘤检测。为此，我们首先研究将领域知识和先前使用的启发式方法纳入设计过程的 EIS 机器学习方法。结果，我们提出了一种带有状态最大池化的循环模型，可自动学习不同 EIS 测量的相关性。其次，我们将这一新模型与处理皮肤镜图像的不同卷积神经网络相结合。我们研究了集成方法，并提出了一种引导 EIS 与皮肤镜模型之间信息交换的交叉注意力模块。总体而言，EIS 与皮肤镜的组合明显优于仅使用 EIS 或仅使用皮肤镜的模型。我们表明，在 clinically relevant 灵敏度为 98% 时，我们基于注意力的组合模型分别以特异性 34.4%（CI 31.3-38.4）、34.7%（CI 31.0-38.8）和 53.7%（CI 50.1-57.6）优于其他模型（皮肤镜、EIS 及组合模型）。
引用
@article{arxiv.1911.02322,
title = {Melanoma detection with electrical impedance spectroscopy and dermoscopy using joint deep learning models},
author = {Nils Gessert and Marcel Bengs and Alexander Schlaefer},
journal= {arXiv preprint arXiv:1911.02322},
year = {2020}
}
备注
Accepted at SPIE Medical Imaging 2020