MIRAGE：用于全面视网膜OCT图像分析的多模态基础模型与基准测试
计算机视觉与模式识别
2025-09-30 v3
摘要
人工智能（AI）已成为辅助临床医生分析眼科图像（如光学相干断层扫描OCT）的基本工具。然而，开发AI模型通常需要大量标注，且现有模型在独立未见数据上往往表现不佳。基础模型（FMs）——在大量无标注数据集上训练的大型AI模型——已展现出克服这些挑战的前景。然而，现有的眼科基础模型缺乏广泛验证，尤其是在分割任务方面，且仅关注单一成像模态。在此背景下，我们提出了MIRAGE，一个用于OCT和扫描激光检眼镜（SLO）图像分析的多模态基础模型。此外，我们提出了一种新的评估基准，包含OCT/SLO分类和分割任务。与通用和专用基础模型及分割方法的对比表明，MIRAGE在两种任务上均具有优越性，凸显了其作为开发鲁棒AI系统进行视网膜OCT图像分析的基础的适用性。MIRAGE和评估基准均已公开发布：https://github.com/j-morano/MIRAGE。
引用
@article{arxiv.2506.08900,
title = {MIRAGE: Multimodal foundation model and benchmark for comprehensive retinal OCT image analysis},
author = {José Morano and Botond Fazekas and Emese Sükei and Ronald Fecso and Taha Emre and Markus Gumpinger and Georg Faustmann and Marzieh Oghbaie and Ursula Schmidt-Erfurth and Hrvoje Bogunović},
journal= {arXiv preprint arXiv:2506.08900},
year = {2025}
}
备注
Accepted for publication in npj Digital Medicine