用于肺部 CT 肺组织建模的 3D GAN 评估
图像与视频处理
2022-08-18 v1
摘要
GAN 能够精确建模复杂、高维数据集（如图像）的分布。这使得高质量 GAN 在医学影像的无监督异常检测中十分有用。然而，训练数据集的差异（如输出图像维度和具有语义意义特征的外观）意味着自然图像领域的 GAN 模型可能无法“开箱即用”于医学影像，需要重新实现与重新评估。本工作中，我们调整并评估三种 GAN 模型用于建模肺部 CT 的三维健康图像块。据我们所知，这是首次进行此类评估。由于 DCGAN、styleGAN 和 bigGAN 架构在自然图像处理中的普遍性与高性能，我们对其进行了研究。我们训练这些方法的不同变体，并使用 FID 分数评估其性能。此外，通过人工观察者研究评价生成图像质量，考察网络建模三维领域特定特征的能力，并分析 GAN 潜空间的结构。结果表明，3D styleGAN 生成具有有意义三维结构且外观逼真的图像，但存在模式崩溃，训练时必须加以解决以获得样本多样性。相反，3D DCGAN 模型展现出更强的图像可变性，但代价是图像质量较差。3D bigGAN 模型提供中等水平的图像质量，但最准确地建模了所选语义有意义特征的分布。结果表明，未来需进一步开发以实现具有足够容量的 3D GAN 用于基于图像块的肺部 CT 异常检测，我们并对未来研究方向提出建议，如尝试其他架构与引入位置编码。
引用
@article{arxiv.2208.08184,
title = {Evaluation of 3D GANs for Lung Tissue Modelling in Pulmonary CT},
author = {Sam Ellis and Octavio E. Martinez Manzanera and Vasileios Baltatzis and Ibrahim Nawaz and Arjun Nair and Loïc Le Folgoc and Sujal Desai and Ben Glocker and Julia A. Schnabel},
journal= {arXiv preprint arXiv:2208.08184},
year = {2022}
}
备注
Accepted for publication at the Journal of Machine Learning for Biomedical Imaging (MELBA) https://www.melba-journal.org/papers/2022:024.html