用于关键点引导图像生成的循环嵌套生成对抗网络

在这项工作中，我们提出了一种新颖的循环嵌套生成对抗网络（C$^2$GAN），用于关键点引导图像生成任务。所提出的 C$^2$GAN 是一个跨模态框架，以交互方式对关键点与图像数据进行联合利用。C$^2$GAN 包含两种不同类型的生成器，即面向关键点的生成器和面向图像的生成器。二者以端到端可学习的方式相互连接，并显式地形成三个循环子网络，即一个图像生成循环和两个关键点生成循环。每个循环不仅旨在重建输入域，还产生参与另一循环生成的有用输出。通过这样做，这些循环彼此隐式约束，从而提供来自两种不同模态的互补信息，并带来跨循环的额外监督，进而促进整个网络更鲁棒的优化。在两个公开数据集（即 Radboud Faces 和 Market-1501）上的大量实验结果表明，与最先进的模型相比，我们的方法能更有效地生成更具照片真实感的图像。