三维医学图像的生成式增强
图像与视频处理
2024-05-27 v2 计算机视觉与模式识别
摘要
由于隐私问题以及高昂的采集或标注成本，三维医学图像数据集的有限可用性给医学成像领域带来了重大挑战。虽然使用合成的医学数据是一种很有前景的替代方案，但由于主干网络设计的困难以及与二维相比三维训练样本较少，目前鲜有能够合成逼真三维医学图像的解决方案。本文提出 GEM-3D，一种利用条件扩散模型合成三维医学图像并增强现有数据集的新型生成式方法。我们的方法从一个二维切片（记为信息切片）开始，以提供患者的先验信息，并使用三维分割掩码传播生成过程。通过将三维医学图像分解为掩码和患者先验信息，GEM-3D 提供了一种灵活而有效的解决方案，可从现有数据集生成多样化的三维图像。GEM-3D 能够通过结合信息切片选择与随机位置生成，以及可编辑的掩码体素在扩散采样中引入较大变化，从而实现数据集增强。此外，由于信息切片包含患者级别的信息，GEM-3D 还能按需促进反事实图像合成和数据集级去增强。在脑部 MRI 和腹部 CT 图像上的实验表明，GEM-3D 能够合成具有体积一致性的高质量三维医学图像，为推理阶段的数据集增强提供了直接的解决方案。代码可在 https://github.com/HKU-MedAI/GEM-3D 获取。
引用
@article{arxiv.2403.12852,
title = {Generative Enhancement for 3D Medical Images},
author = {Lingting Zhu and Noel Codella and Dongdong Chen and Zhenchao Jin and Lu Yuan and Lequan Yu},
journal= {arXiv preprint arXiv:2403.12852},
year = {2024}
}
备注
20 pages, 8 figures