XCAT-GAN:基于解剖可变 XCAT 体模合成三维一致标注心脏 MR 图像
图像与视频处理
2020-08-03 v2 计算机视觉与模式识别
机器学习
摘要
生成对抗网络(GANs)通过合成高保真图像提供了有前景的数据增强方案。然而,生成具有新解剖变异的大批标注图像仍未被探索。我们提出一种新方法,在具有大解剖变异的虚拟受试者群体上合成心脏磁共振(CMR)图像,该变异由 4D 扩展心脏与躯干(XCAT)计算机人体体模引入。我们研究了两种基于语义一致掩码引导图像生成技术的条件图像合成方法:4 类与 8 类 XCAT-GANs。4 类技术仅依赖心脏标注;而 8 类技术采用预测的心脏周围器官多组织标签图,为我们的条件图像合成提供更好引导。两种技术中,我们均以真实图像与对应标签配对训练条件 XCAT-GAN,随后在推理时以 XCAT 导出的标签替换。因此,训练好的网络将组织特异性纹理准确迁移至新标签图。通过在舒张末期与收缩末期创建 33 个虚拟受试者的合成 CMR 图像,我们评估了此类数据在不同增强策略下对下游心脏腔室分割任务的效用。结果表明,即便训练时仅见 20% 真实图像(40 个体积),添加合成 CMR 图像仍可保持分割性能。此外,利用合成图像增强真实数据的改进显而易见:Hausdorff 距离最多降低 28%,Dice 分数最多提升 5%,表明各维度与金标准相似性更高。
引用
@article{arxiv.2007.13408,
title = {XCAT-GAN for Synthesizing 3D Consistent Labeled Cardiac MR Images on Anatomically Variable XCAT Phantoms},
author = {Sina Amirrajab and Samaneh Abbasi-Sureshjani and Yasmina Al Khalil and Cristian Lorenz and Juergen Weese and Josien Pluim and Marcel Breeuwer},
journal= {arXiv preprint arXiv:2007.13408},
year = {2020}
}
备注
Accepted for MICCAI 2020