3D-StyleGAN：一种用于三维医学图像生成建模的基于风格的生成对抗网络
图像与视频处理
2021-07-22 v1 计算机视觉与模式识别
机器学习
摘要
通过生成对抗网络 (GANs) 合成三维 (3D) 医学图像具有巨大潜力，可扩展到许多医学应用，如图像增强和疾病进展建模。然而，当前用于 3D 医学图像合成的 GAN 技术需要显著改进才能 readily 适应现实世界的医学问题。在本文中，我们扩展了原生处理二维图像的 SOTA StyleGAN2 模型，以实现 3D 图像合成。除图像合成外，我们通过继承自原始 StyleGAN2 的风格向量研究了 3D-StyleGAN 的可控性和可解释性，这些向量非常适用于医学应用：(i) 未见真实图像的潜空间投影与重建，以及 (ii) 风格混合。我们用约 12,000 张三维全脑 MR T1 图像展示了 3D-StyleGAN 的性能和可行性，尽管它可应用于任何 3D 体数据图像。此外，我们探索了超参数的不同配置，以研究通过更大网络潜在改进图像合成。代码和预训练网络在线可用：https://github.com/sh4174/3DStyleGAN。
引用
@article{arxiv.2107.09700,
title = {3D-StyleGAN: A Style-Based Generative Adversarial Network for Generative Modeling of Three-Dimensional Medical Images},
author = {Sungmin Hong and Razvan Marinescu and Adrian V. Dalca and Anna K. Bonkhoff and Martin Bretzner and Natalia S. Rost and Polina Golland},
journal= {arXiv preprint arXiv:2107.09700},
year = {2021}
}
备注
11 pages, 6 figures, 2 tables. Provisionally Accepted at DGM4MICCAI workshop in MICCAI 2021