基于条件 StyleGAN 与潜空间操控的可控视网膜图像合成用于提高糖尿病视网膜病变诊断与分级
图像与视频处理
2024-09-12 v1 计算机视觉与模式识别
摘要
糖尿病视网膜病变 (DR) 是一种由糖尿病患者引起的眼组织血管损伤的疾病。及时检测至关重要，以缓解视力丧失的风险。然而，由于缺乏标注数据（尤其是严重病例），训练鲁棒的分级模型面临挑战。本文提出了一个框架，用于可控地生成高保真且多样化的 DR 眼底图像，从而提高 DR 分级和检测中分类器的性能。我们仅通过条件 StyleGAN 即可对 DR 严重程度和视觉特征（视盘、血管结构、病灶面积）进行全面控制，无需额外的特征掩码或辅助网络。具体而言，利用 SeFa 算法在潜空间中识别有意义的语义，进一步通过对分级条件生成的图像进行操控，以增强数据集的多样性。此外，我们提出了一种新颖且有效的 SeFa 基于的数据增强策略，帮助分类器聚焦于判别性区域，同时忽略冗余特征。使用这一方法，针对 DR 检测训练的 ResNet50 模型达到 98.09% 的准确率、99.44% 的特异度、99.45% 的精确度和 98.09% 的 F1 分数。此外，将由条件 StyleGAN 生成的合成图像纳入 ResNet50 训练用于 DR 分级，可实现 83.33% 的准确率、87.64% 的二次 Kappa 分数、95.67% 的特异度和 72.24% 的精确度。在 APTOS 2019 数据集上进行的大量实验表明，所生成图像的逼真性极佳，优于最近的研究成果。
引用
@article{arxiv.2409.07422,
title = {Controllable retinal image synthesis using conditional StyleGAN and latent space manipulation for improved diagnosis and grading of diabetic retinopathy},
author = {Somayeh Pakdelmoez and Saba Omidikia and Seyyed Ali Seyyedsalehi and Seyyede Zohreh Seyyedsalehi},
journal= {arXiv preprint arXiv:2409.07422},
year = {2024}
}
备注
30 pages, 17 figures