基于UWF-CFP与OCTA图像深度多模态融合的糖尿病视网膜病变严重程度分类改进
图像与视频处理
2023-10-04 v1 计算机视觉与模式识别
机器学习
摘要
糖尿病视网膜病变(DR)是糖尿病常见且严重的并发症，影响全球数百万人群，凸显了准确及时诊断的必要性。超广角彩色眼底照相(UWF-CFP)与光学相干断层扫描血管造影(OCTA)等成像技术的最新进展为DR早期检测提供了机遇，但由于其所产生数据的异质性也带来了显著挑战。本研究提出一种新颖的多模态方法，利用这些成像模态显著增强DR分类性能。我们的方法通过融合ResNet50与3D-ResNet50模型，并采用压缩激励(Squeeze-and-Excitation, SE)模块放大相关特征，整合2D UWF-CFP图像与3D高分辨率6x6 mm OCTA（结构与血流）图像。此外，为提升模型泛化能力，在拼接的多模态特征上实现了Manifold Mixup的多模态扩展。实验结果表明，相较于仅依赖单一模态的方法，所提多模态方法在DR分类性能上取得了显著提升。本工作所阐述的方法在促进更准确、早期的DR检测方面具有重大前景，有望改善患者临床结局。
引用
@article{arxiv.2310.01912,
title = {Improved Automatic Diabetic Retinopathy Severity Classification Using Deep Multimodal Fusion of UWF-CFP and OCTA Images},
author = {Mostafa El Habib Daho and Yihao Li and Rachid Zeghlache and Yapo Cedric Atse and Hugo Le Boité and Sophie Bonnin and Deborah Cosette and Pierre Deman and Laurent Borderie and Capucine Lepicard and Ramin Tadayoni and Béatrice Cochener and Pierre-Henri Conze and Mathieu Lamard and Gwenolé Quellec},
journal= {arXiv preprint arXiv:2310.01912},
year = {2023}
}
备注
Accepted preprint for presentation at MICCAI-OMIA 20023, Vancouver, Canada