通过解耦对抗推断实现医学图像的条件生成
图像与视频处理
2022-05-05 v3 计算机视觉与模式识别
摘要
合成医学图像生成在改善医疗健康方面具有巨大潜力，应用广泛，从用于训练机器学习系统的数据增强到保护患者隐私。条件对抗生成网络（cGANs）利用条件因子生成图像，近年来取得巨大成功。直观上，图像中的信息可分为两部分：1）通过条件向量呈现的内容；2）条件向量中缺失的未发掘信息，即风格。当前在医学图像生成中使用 cGANs 的做法仅采用单一变量进行图像生成（即内容），因此对所生成图像缺乏灵活性与控制力。本工作提出一种方法，从图像自身学习风格与内容的解耦表示，并利用该信息对生成过程施加控制。在此框架中，风格以完全无监督方式学习，而内容通过监督学习（使用条件向量）与无监督学习（借助推断机制）共同学习。我们采取两个新颖的正则化步骤以确保内容与风格解耦。首先，我们通过引入梯度反转层（GRL）的新颖应用来最小化内容与风格间的共享信息；其次，我们提出一种自监督正则化方法以进一步分离内容与风格变量中的信息。我们表明，一般而言，双潜变量模型取得更好性能并赋予生成图像更多控制。我们还表明，我们所提模型（DRAI）取得最佳解耦分数并具有最佳整体性能。
引用
@article{arxiv.2012.04764,
title = {Conditional Generation of Medical Images via Disentangled Adversarial Inference},
author = {Mohammad Havaei and Ximeng Mao and Yiping Wang and Qicheng Lao},
journal= {arXiv preprint arXiv:2012.04764},
year = {2022}
}
备注
Published in Medical Image Analysis