使用集成 RGB 和热成像进行糖尿病足溃疡分期的多模态深度学习
计算机视觉与模式识别
2026-03-31 v1 机器学习
摘要
糖尿病足溃疡 (DFU) 是糖尿病的严重并发症，可能导致截肢及高额医疗费用。定期监测和早期诊断对于降低临床负担和截肢风险至关重要。本研究旨在调查使用多模态图像对 DFU 分期深度学习模型产生的影响。为此，我们开发了一个基于 Raspberry Pi 的便携式成像系统， capable of 同时捕获 RGB 和热成像。使用该原型，我们收集了一个包含 1205 个样本的数据集，于医院环境中收集。数据集由专家标注为六个 distinct 分期。为评估模型性能，我们准备了三个不同的训练集：RGB-only、thermal-only 和 RGB+Thermal (将热成像作为第四通道添加)。我们在 DenseNet121、EfficientNetV2、InceptionV3、ResNet50 和 VGG16 模型上训练了这些训练集。结果表明，多模态训练数据集 (将 RGB 和热数据跨四个通道组合) 的表现优于单模态方法。最高性能观察发生在在 RGB+Thermal 数据集上训练的 VGG16 模型。该模型实现了 93.25% 的准确率、92.53% 的 F1 分数和 91.03% 的 MCC。Grad-CAM 热图可视化表明，热成像通道通过突出显示溃疡区域的温度异常帮助模型聚焦正确位置，而 RGB 通道通过提供补充的结构和纹理信息支持决策过程。
引用
@article{arxiv.2603.26952,
title = {Multimodal Deep Learning for Diabetic Foot Ulcer Staging Using Integrated RGB and Thermal Imaging},
author = {Gulengul Mermer and Mustafa Furkan Aksu and Gozde Ozsezer and Sevki Cetinkalp and Orhan Er and Mehmet Kemal Gullu},
journal= {arXiv preprint arXiv:2603.26952},
year = {2026}
}
备注
18 pages, 7 figures