面向高分辨率三维GAN内存高效的分层摊销训练
图像与视频处理
2022-09-13 v4 计算机视觉与模式识别
摘要
生成对抗网络（GAN）具有许多潜在的医学影像应用，包括数据增强、域适应和模型解释。由于图形处理单元（GPU）的内存有限，当前大多数三维GAN模型在低分辨率医学图像上训练，这些模型要么无法扩展到高分辨率，要么容易出现块状伪影。在本工作中，我们提出了一种能够生成高分辨率三维图像的端到端GAN架构。我们通过训练与推理采用不同配置来实现这一目标。在训练期间，我们采用分层结构，同时生成图像的低分辨率版本和随机选取的高分辨率子体积。该分层设计有两个优点：首先，高分辨率图像训练的内存需求在子体积之间被摊销；此外，将高分辨率子体积锚定到单一低分辨率图像可确保子体积间的解剖一致性。在推理期间，我们的模型可直接生成完整的高分辨率图像。我们还将具有类似分层结构的编码器纳入模型以从图像中提取特征。在三维胸部CT与脑MRI上的实验表明，我们的方法在图像生成上优于当前最优方法。我们还展示了所提模型在数据增强和临床相关特征提取中的临床应用。
引用
@article{arxiv.2008.01910,
title = {Hierarchical Amortized Training for Memory-efficient High Resolution 3D GAN},
author = {Li Sun and Junxiang Chen and Yanwu Xu and Mingming Gong and Ke Yu and Kayhan Batmanghelich},
journal= {arXiv preprint arXiv:2008.01910},
year = {2022}
}
备注
Paper accepted to IEEE Journal of Biomedical and Health Informatics, code available at https://github.com/batmanlab/HA-GAN