眼底图像到荧光素眼底视频生成：一种视网膜生成式基础模型
计算机视觉与模式识别
2024-10-21 v2
摘要
眼底荧光素染色(FFA) 对诊断和监测视网膜血管问题至关重要，但由于其侵入性较强且可及性受限，相较于色彩眼底(CF)成像存在局限。现有方法将 CF 图像转换为 FFA 仅限于静态图像生成，缺乏对动态病变变化的捕捉。我们引入 Fundus2Video，一种自回归生成式对抗网络(GAN)模型，从单张 CF 图像生成动态 FFA 视频。Fundus2Video 在视频生成方面表现卓越，FVD 为 1497.12，PSNR 为 11.77。临床专家已验证生成视频的保真度。此外，该模型的生成器在十个外部公开数据集上展现出显著的下游迁移能力，包括血管分割、视网膜疾病诊断、系统疾病预测和多模态检索，展现出惊人的零样学习和少样学习能力。这些发现将 Fundus2Video 定位为 FFA 检查的强大、非侵入性替代方案，以及捕捉静态与时序视网膜特征的多功能视网膜生成式基础模型，能够表征复杂的跨模态关系。
引用
@article{arxiv.2410.13242,
title = {Fundus to Fluorescein Angiography Video Generation as a Retinal Generative Foundation Model},
author = {Weiyi Zhang and Jiancheng Yang and Ruoyu Chen and Siyu Huang and Pusheng Xu and Xiaolan Chen and Shanfu Lu and Hongyu Cao and Mingguang He and Danli Shi},
journal= {arXiv preprint arXiv:2410.13242},
year = {2024}
}