FusionFM: 融合眼部特定基础模型以优化眼科诊断

基础模型（Foundation Models, FMs）在医学图像分析中展现出巨大的潜力，通过提高跨不同下游任务的泛化能力。 在眼科领域，近期涌现出多个FMs，但仍不存在明确的答案回答以下基本问题：哪个FM表现最佳？它们在不同任务中是否同样出色？如果我们将所有FM组合在一起会怎样？本文是首个系统评估单一和融合眼科FMs的研究。为解决这些问题，我们提出了FusionFM框架，包括两个融合方法来整合不同的眼科FMs。我们的框架涵盖眼部疾病检测（青光眼、糖尿病性视网膜病变和年龄相关性黄斑变性）以及基于视网膜成像的系统性疾病预测（糖尿病和高血压）。我们对四种最先进的FMs（RETFound、VisionFM、RetiZero和DINORET）进行了基准测试，使用来自多个国家的标准化数据集，并采用AUC和F1指标评估其性能。我们的结果表明，DINORET和RetiZero在眼科和系统性疾病任务中均表现出优异性能，其中RetiZero在外部数据集上的泛化能力更强。关于融合策略，基于门控的方法在预测青光眼、黄斑变性和高血压方面提供了适度的改进。尽管取得了这些进展，但预测系统性疾病（尤其是外部队列中的高血压）仍具有挑战性。这些发现为眼科FMs提供了基于证据的评估，凸显了模型融合的优势，并为增强其临床实用性指明了策略。