基于准多模态的视网膜疾病病理特征学习
计算机视觉与模式识别
2026-02-04 v1 医学物理
摘要
视网膜疾病涵盖广泛的疾病谱，可通过多模态数据的互补信号有效识别和诊断。然而，眼科实践中的多模态诊断通常面临数据异构性、潜在侵入性、配准复杂性等挑战。因此，本文提出一种统一框架，用于整合多模态数据的合成与融合，以实现视网膜疾病的分类与分级。具体而言，合成的多模态数据包括视网膜荧光亮绿素血管造影(FFA)、多光谱成像(MSI)以及强调潜在病灶及视盘/视杯区域的显著图。独立训练的平行模型用于学习捕捉跨病理特征的表征。随后，这些特征在模态内部及跨模态之间进行自适应校准，以根据下游任务执行信息修剪和灵活集成。通过图像和特征空间的可视化，对所提学习系统进行彻底解释。在两个公开数据集上的大量实验表明，我们的方法在多标签分类(F1-score: 0.683, AUC: 0.953)和糖尿病性视网膜病变分级(准确率:0.842, Kappa: 0.861)任务中优于当前最先进方法。本工作不仅提升了视网膜疾病筛查的准确性和效率，还为跨各种医学影像模态的数据增强提供了可扩展框架。
引用
@article{arxiv.2602.03622,
title = {Quasi-multimodal-based pathophysiological feature learning for retinal disease diagnosis},
author = {Lu Zhang and Huizhen Yu and Zuowei Wang and Fu Gui and Yatu Guo and Wei Zhang and Mengyu Jia},
journal= {arXiv preprint arXiv:2602.03622},
year = {2026}
}