用于青光眼与糖尿病视网膜病变分类的多模态信息融合
图像与视频处理
2022-09-07 v2 计算机视觉与模式识别
机器学习
摘要
在医学任务中经常可获得多模态信息。通过结合多个来源的信息，临床医生能够做出更准确的判断。近年来，多种成像技术已用于视网膜分析的临床实践：二维眼底照相、三维光学相干断层扫描(OCT)和三维 OCT 血管造影等。我们的论文研究了三种基于深度学习的多模态信息融合策略以解决视网膜分析任务：早期融合、中间融合和分层融合。常用的早期与中间融合简单，但未能充分利用模态间的互补信息。我们开发了一种分层融合方法，侧重于在网络多个维度上组合特征，并探索模态间的相关性。这些方法被应用于青光眼和糖尿病视网膜病变分类，分别使用公共 GAMMA 数据集(眼底照相与 OCT)和 PlexElite 9000 (Carl Zeis Meditec Inc.) OCT 血管造影采集的私有数据集。我们的分层融合方法在两种情况下均表现最佳，并为更好的临床诊断铺平了道路。
引用
@article{arxiv.2209.00979,
title = {Multimodal Information Fusion for Glaucoma and DR Classification},
author = {Yihao Li and Mostafa El Habib Daho and Pierre-Henri Conze and Hassan Al Hajj and Sophie Bonnin and Hugang Ren and Niranchana Manivannan and Stephanie Magazzeni and Ramin Tadayoni and Béatrice Cochener and Mathieu Lamard and Gwenolé Quellec},
journal= {arXiv preprint arXiv:2209.00979},
year = {2022}
}
备注
Accepted preprint for presentation at MICCAI-OMIA