从手绘草图生成高质量医学图像

从人类手绘草图生成医学图像，对各种重要的医学成像应用具有广阔前景。由于在医学领域收集手绘草图数据极其困难，大多数基于深度学习的方法被提出来从合成的草图（例如，真实图像的边缘图或分割掩码轮廓）生成医学图像。然而，这些模型通常难以在手绘草图上泛化，导致结果不令人满意。在本文中，我们提出了一种实用的手绘草图到图像生成模型，称为 Sketch2MedI，该模型学习在 StyleGAN 的潜空间中表示草图并从中生成医学图像。得益于将草图编码到这一有意义的表示空间的能力，Sketch2MedI 仅需合成草图进行训练，从而实现了高性价比的学习过程。我们的 Sketch2MedI 展示了对草图手绘的稳健泛化能力，从而生成高质量且逼真的医学图像。对 Sketch2MedI 与 pix2pix、CycleGAN、UNIT 和 U-GAT-IT 模型的对比评估表明，在生成咽部图像方面，其在各种指标上均表现出优越的定量和定性性能。