OCTCube-M：一个用于视网膜和系统性疾病的三维多模态光学相干断层扫描基础模型，具有跨队列和跨设备验证
图像与视频处理
2024-12-20 v2 人工智能
计算机视觉与模式识别
摘要
我们提出了OCTCube-M，一个基于三维OCT的多模态基础模型，用于联合分析OCT和en face图像。OCTCube-M首先开发了OCTCube，一个在26,685个三维OCT体积（涵盖162万张2D OCT图像）上预训练的三维基础模型。然后，它利用一种新颖的多模态对比学习框架COEP，将其他视网膜成像模态（如眼底自发荧光和红外视网膜成像）集成到OCTCube中，高效地将其扩展为多模态基础模型。OCTCube在预测8种视网膜疾病方面取得了最佳性能，展示了在跨队列、跨设备和跨模态预测中的强泛化能力。OCTCube还可以预测跨器官结节恶性（CT）和低心脏射血分数以及系统性疾病，如糖尿病和高血压，揭示了其在视网膜疾病之外的广泛应用。我们进一步使用COEP开发了OCTCube-IR，包含26,685对OCT和IR图像。OCTCube-IR可以在OCT和IR图像之间准确检索，允许三维和二维视网膜成像模态之间的联合分析。最后，我们从400万张二维OCT图像和40万张en face视网膜图像训练了一个三模态基础模型OCTCube-EF。OCTCube-EF在预测地图样萎缩(GA)的生长速率方面取得了最佳性能，跨越了来自23个国家6个多中心全球试验收集的数据集。这一改进相当于运行一个规模超过原始研究两倍的临床试验。我们的基于另一个回顾性病例研究的分析揭示了OCTCube-EF根据其对II期结果的准确治疗效应估计，避免III期假阳性结果的能力。总之，OCTCube-M是一个三维多模态基础模型框架，整合了OCT和其他视网膜成像模态，揭示了显著的诊断和预后益处。
引用
@article{arxiv.2408.11227,
title = {OCTCube-M: A 3D multimodal optical coherence tomography foundation model for retinal and systemic diseases with cross-cohort and cross-device validation},
author = {Zixuan Liu and Hanwen Xu and Addie Woicik and Linda G. Shapiro and Marian Blazes and Yue Wu and Verena Steffen and Catherine Cukras and Cecilia S. Lee and Miao Zhang and Aaron Y. Lee and Sheng Wang},
journal= {arXiv preprint arXiv:2408.11227},
year = {2024}
}