基于半监督序列生成对抗网络的双模态医学图像合成
图像与视频处理
2023-08-30 v2 计算机视觉与模式识别
摘要
本文提出一种基于序列生成对抗网络(GAN)与半监督学习的双模态医学图像合成方法。该方法由两个生成模块组成，按先后顺序合成两种模态的图像。我们提出一种合成复杂度度量方法，用于自动确定序列GAN中的合成顺序：复杂度较低的模态图像先合成，复杂度较高的对应图像后生成。我们的序列GAN以半监督方式端到端训练。在监督训练中，通过显式最小化真实图像与合成图像间的重建损失，从两种模态的真实配对图像中学习双模态图像的联合分布。为避免在有限训练图像上过拟合，在无监督训练中，基于非配对图像最小化真实与生成图像分布间的Wasserstein距离，学习各模态的边缘分布。我们利用基于三类评价指标与用户研究的两项合成任务对所提模型进行全面评估。视觉与定量结果表明，我们的方法优于现有最优方法，并具有合理的视觉质量与临床意义。代码已公开于 https://github.com/hustlinyi/Multimodal-Medical-Image-Synthesis。
引用
@article{arxiv.2308.14066,
title = {Bi-Modality Medical Image Synthesis Using Semi-Supervised Sequential Generative Adversarial Networks},
author = {Xin Yang and Yi Lin and Zhiwei Wang and Xin Li and Kwang-Ting Cheng},
journal= {arXiv preprint arXiv:2308.14066},
year = {2023}
}