使用 2D VAE 与 GAN 合成三维一致的心脏 MR 病理图像
图像与视频处理
2023-05-31 v2 计算机视觉与模式识别
摘要
我们提出一种合成具有合理心脏病理和真实外观的心脏磁共振（MR）图像的方法，用于生成带标签数据以应用于有监督深度学习（DL）训练。图像合成包括标签形变与标签到图像的转换任务。前者通过 VAE 模型中的潜空间插值实现，后者通过标签条件 GAN 模型完成。我们设计了三种在训练好的 VAE 模型潜空间中进行标签操作的方法：i) \textbf{受试者内合成}，旨在插值某受试者的中间切片以提高平面间分辨率；ii) \textbf{受试者间合成}，旨在插值由不同扫描仪厂商采集的两个相异受试者之间的几何与外观中间图像；iii) \textbf{病理合成}，旨在合成一系列具有目标心脏病特征的伪病理合成受试者。此外，我们提出在 VAE 潜空间中建模二维切片间的关系，再进行重建，从而通过逐片堆叠二维生成来产生三维一致的受试者。我们证明该方法可丰富和扩充现有心脏 MR 图像数据库，并为可泛化基于 DL 的图像分析算法开发铺平道路。我们在数据增广场景下定量评估合成数据质量，以实现对多厂商和多疾病数据的图像分割的泛化性与鲁棒性。我们的代码见 https://github.com/sinaamirrajab/CardiacPathologySynthesis。
引用
@article{arxiv.2209.04223,
title = {Pathology Synthesis of 3D-Consistent Cardiac MR Images using 2D VAEs and GANs},
author = {Sina Amirrajab and Cristian Lorenz and Juergen Weese and Josien Pluim and Marcel Breeuwer},
journal= {arXiv preprint arXiv:2209.04223},
year = {2023}
}
备注
Accepted for publication at the Journal of Machine Learning for Biomedical Imaging (MELBA) https://www.melba-journal.org/2023:010