CleftGAN: 适配基于风格的生成对抗网络以生成描绘唇裂畸形的图像
计算机视觉与模式识别
2023-10-13 v1 机器学习
摘要
在尝试训练机器学习系统以评估面部裂缺时,一个主要障碍是缺乏大量高质量、经伦理委员会批准的患者图像数据集。为此,我们构建了一个基于深度学习的唇裂生成器,旨在生成几乎无限数量、具有高度保真且差异广泛的人工唇裂图像。我们采用迁移学习方案,测试以不同版本的 StyleGAN-ADA(一种结合自适应数据增强(ADA)的生成对抗网络图像生成器)作为基础模型。描绘各类裂缺畸形的训练图像经过预处理,以调整旋转、缩放、色彩校正和背景模糊。主算法的 ADA 修改使得在输入相对较少训练图像的情况下即可构建我们的新生成模型。我们使用 514 张独特的唇裂面部正面照片进行对抗训练,以适配基于 70,000 张正常面孔预训练的模型。采用弗雷歇起始距离(FID)衡量新生成面部图像与唇裂训练数据集的相似度,同时使用感知路径长度(PPL)和新提出的严重程度直方图散度指数(DISH)度量来评估我们称为 CleftGAN 的图像生成器性能。我们发现具有平移不变性的 StyleGAN3(StyleGAN3-t)作为基础模型表现最优。生成图像获得了较低的 FID,反映出与真实唇裂图像训练输入数据集的紧密相似性。较低的 PPL 和 DISH 度量分别反映了迁移学习过程中图像平滑且语义有效的插值,以及训练和生成图像中相似的严重程度分布。
引用
@article{arxiv.2310.07969,
title = {CleftGAN: Adapting A Style-Based Generative Adversarial Network To Create Images Depicting Cleft Lip Deformity},
author = {Abdullah Hayajneh and Erchin Serpedin and Mohammad Shaqfeh and Graeme Glass and Mitchell A. Stotland},
journal= {arXiv preprint arXiv:2310.07969},
year = {2023}
}