基于深度神经网络利用伤口图像与部位的多模态伤口分类

伤口分类是伤口诊断的重要步骤。高效的分类器可协助伤口专科医生以更低的费用和时间成本对伤口类型进行分类，并帮助他们决定最优的治疗方案。本研究开发了一种基于深度神经网络的多模态分类器，利用伤口图像及其对应部位将伤口图像分类为多个类别，包括糖尿病性溃疡、压力性溃疡、手术性溃疡和静脉性溃疡。我们还开发了一个身体部位图来准备部位数据，可帮助伤口专科医生更高效地标记伤口位置。在伤口专科医生的协助下设计了三个包含图像及其对应部位信息的数据集。该多模态网络通过拼接基于图像和基于部位的分类器输出并作其他修改而构建。在混合类别分类（含背景和正常皮肤）上，不同实验的最高准确率从77.33%到100%不等。在伤口类别分类（仅含糖尿病性、压力性、手术性和静脉性）上，不同实验的最高准确率从72.95%到98.08%不等。所提出的多模态网络相较既往文献结果也有显著提升。