Dynamic-Pix2Pix：用于有限训练数据下建模输入与目标域联合分布的噪声注入 cGAN
计算机视觉与模式识别
2022-11-17 v1
摘要
学习将图像从源域转换到目标域，并应用于如将简单线描图转换为油画等任务，已引起广泛关注。生成图像的质量直接关系到两个关键问题。首先，输出分布与目标分布的一致性是必不可少的。其次，生成的输出应与输入高度相关。条件生成对抗网络（cGAN）是图像转换最常用的模型。当我们使用有限的训练数据集时，cGAN 的性能会下降。在本工作中，我们借助动态神经网络理论，提升了 Pix2Pix（一种 cGAN）的目标分布建模能力。我们的模型具有两个学习周期。模型在第一个周期中学习输入与真实值之间的相关性。随后，在第二个周期中精炼模型结构，以从噪声输入中学习目标分布。这些过程在训练过程的每次迭代中执行。帮助 cGAN 从噪声输入学习目标分布，可在测试时获得更好的模型泛化能力，并使模型几乎完美地拟合目标域分布。因此，我们的模型在分割 HC18 与 Montgomery 胸部 X 射线图像上超越了 Pix2Pix 模型。定性与 Dice 分数均显示了我们模型的优越性。尽管我们提出的方法未使用数千额外数据进行预训练，其在域内与域外泛化上取得了与最先进方法相当的结果。
引用
@article{arxiv.2211.08570,
title = {Dynamic-Pix2Pix: Noise Injected cGAN for Modeling Input and Target Domain Joint Distributions with Limited Training Data},
author = {Mohammadreza Naderi and Nader Karimi and Ali Emami and Shahram Shirani and Shadrokh Samavi},
journal= {arXiv preprint arXiv:2211.08570},
year = {2022}
}
备注
15 pages, 7 figures