Total Generate：用于生成人脸、手、身体和自然场景的循环套循环生成对抗网络
计算机视觉与模式识别
2021-06-22 v1 人工智能
多媒体
摘要
我们提出一种新颖且统一的循环套循环生成对抗网络(C2GAN)，用于生成人脸、手、身体和自然场景。我们提出的C2GAN是一种跨模态模型，以交互方式联合利用输入图像数据和引导数据。C2GAN包含两个不同生成器，即图像生成生成器和引导生成生成器。两个生成器相互连接并以端到端方式训练，明确形成三个循环子网络，即一个图像生成循环和两个引导生成循环。每个循环旨在重建输入域，同时产生参与另一循环生成的有用输出。以此方式，各循环相互隐式约束，提供来自图像和引导两种模态的互补信息，并带来跨循环的额外监督梯度，促进整个模型更鲁棒地优化。在四个引导图像到图像翻译子任务上的大量结果表明，与最先进模型相比，所提C2GAN能更有效地生成更真实的图像。代码见https://github.com/Ha0Tang/C2GAN。
引用
@article{arxiv.2106.10876,
title = {Total Generate: Cycle in Cycle Generative Adversarial Networks for Generating Human Faces, Hands, Bodies, and Natural Scenes},
author = {Hao Tang and Nicu Sebe},
journal= {arXiv preprint arXiv:2106.10876},
year = {2021}
}
备注
Accepted to TMM, an extended version of a paper published in ACM MM 2019. arXiv admin note: substantial text overlap with arXiv:1908.00999