基于标记最优传输的鲁棒不完整模态对齐用于眼病分级与诊断

基于多模态眼科影像的诊断整合了彩色眼底图像与光学相干断层扫描(OCT)，以提供眼部病理的全面视图。然而，全球医疗资源分布不均常导致现实临床场景中出现不完整的多模态数据，这严重影响了诊断准确性。现有常用流程，如模态插补法和蒸馏法，存在显著局限性：1) 插补法难以准确重建关键病变特征，因为 OCT 病变是局灶性的，而眼底图像风格各异。2) 蒸馏法严重依赖于完全配对的多模态训练数据。为应对这些挑战，我们提出了一种新颖的多模态对齐与融合框架，能够在眼科诊断任务中鲁棒地处理缺失模态。通过考虑 OCT 和眼底图像的独特特征，我们强调同一类别内语义特征的对齐，并显式学习模态间的软匹配，使得缺失模态能够利用现有模态信息，在模态缺失下实现鲁棒的跨模态特征对齐。具体而言，我们利用最优传输进行多尺度模态特征对齐：通过预测的类原型进行类间对齐，以及通过跨模态共享特征传输进行特征间对齐。此外，我们提出了一种非对称融合策略，有效利用了 OCT 和眼底模态的独特特征。在三个大型眼科多模态数据集上的广泛评估表明，我们的模型在各种模态不完整场景下均表现出优越性能，在完整模态和模态间不完整条件下均达到了最先进的性能。代码可在 https://github.com/Qinkaiyu/RIMA 获取。