基于草图引导与渐进生长 GAN 的真实可编辑超声图像合成
图像与视频处理
2022-05-26 v3 计算机视觉与模式识别
机器学习
摘要
超声(US)成像广泛用于临床诊断中的解剖结构检查。新超声医师的培训以及基于深度学习的 US 图像分析算法通常都需要大量数据。然而,获取和标注大规模 US 成像数据并非易事,尤其是对于低发病率的疾病。真实的 US 图像合成可在很大程度上缓解此问题。本文提出一种基于生成对抗网络(GAN)的图像合成框架。我们的主要贡献包括:1)我们提出了首项可合成具有高分辨率和定制纹理编辑特征的真实 B 超图像的工作;2)为增强生成图像的结构细节,我们提出将辅助草图引导引入条件 GAN。我们将边缘草图叠加到目标掩码上,并使用复合掩码作为网络输入;3)为生成高分辨率 US 图像,我们采用渐进训练策略,从低分辨率图像逐步生成高分辨率图像。此外,提出一种特征损失以最小化生成图像与真实图像之间高层特征的差异,进一步提升了生成图像的质量;4)所提 US 图像合成方法具有相当的通用性,除本研究测试的三个解剖结构(肺、髋关节和卵巢)外,也可推广至其他解剖结构的 US 图像;5)在三个大型 US 图像数据集上进行了大量实验以验证我们的方法。消融研究、定制纹理编辑、用户研究和分割测试均展示了我们的方法在合成真实 US 图像方面的良好结果。
引用
@article{arxiv.2204.06929,
title = {Sketch guided and progressive growing GAN for realistic and editable ultrasound image synthesis},
author = {Jiamin Liang and Xin Yang and Yuhao Huang and Haoming Li and Shuangchi He and Xindi Hu and Zejian Chen and Wufeng Xue and Jun Cheng and Dong Ni},
journal= {arXiv preprint arXiv:2204.06929},
year = {2022}
}
备注
Accepted by Medical Image Analysis (13 figures, 4 tabels)