利用并发眼底图像和光学相干断层扫描图像的多尺度颜色引导注意力集成分类器用于年龄相关性黄斑变性

自动诊断技术已发展到通过使用单一模态的眼底图像或光学相干断层扫描（OCT）来识别年龄相关性黄斑变性（AMD）。为了分类眼部疾病，眼底图像和OCT图像是临床环境中使用的最关键的成像模态。大多数基于深度学习的技术建立在单一成像模态上，这在一定程度上考虑了眼部疾病，而忽略了包含不同成像模态之间详尽信息的其他模态。本文提出了一种基于迁移学习的模态特定多尺度颜色空间嵌入与注意力机制集成的分类方法（MCGAEc），该方法可以利用不同的颜色空间在不同尺度上高效提取不同的模态信息。在这项工作中，我们首先引入了模态特定的多尺度颜色空间编码器模型，该模型通过将多尺度上的不同特征颜色空间集成到一个统一框架中，从而包含多样化的特征表示。从先前编码器模块提取的特征与注意力机制相结合，以提取全局特征表示，该表示与先前提取的特征集成，并传递给随机森林分类器用于AMD的分类。为了分析所提出的MCGAEc方法的性能，我们利用了来自Project Macula的公开多模态数据集进行AMD分析，并与现有模型进行了比较。