MultiEYE：基于OCT增强的眼底图像视网膜疾病识别的数据集与基准

现有的眼底和OCT图像多模态学习方法大多要求训练和测试时两种模态均可用且严格配对，这在临床场景中显得不太实用。为了扩展临床应用范围，我们提出了一种新颖的设置——“基于眼底图像的OCT增强疾病识别”，该设置允许在训练阶段使用非配对的模态数据，并在测试时依赖广泛使用的眼底图像。为了对该设置进行基准测试，我们首次提出了用于眼科疾病诊断的大规模多模态多类别数据集MultiEYE，并提出了一种OCT辅助概念蒸馏方法(OCT-CoDA)，该方法利用语义丰富的概念从OCT图像中提取疾病相关知识，并将其注入眼底模型。具体而言，我们将图像-概念关系视为从OCT教师模型向眼底学生模型蒸馏有用知识的桥梁，这显著提高了基于眼底图像的诊断性能，并将跨模态知识转移构建为一个可解释的过程。通过在多种疾病分类任务上的大量实验，我们提出的OCT-CoDA展示了显著的效果和可解释性，显示出巨大的临床应用潜力。我们的数据集和代码可在 https://github.com/xmed-lab/MultiEYE 获取。