基于 GAN 的人脸合成中用于配对分布的三重一致性损失

生成对抗网络（GAN）在包括人脸到人脸翻译在内的对象翻译任务中展现出令人印象深刻的成果。近期方法成功的一个关键组件是自一致性损失，其鼓励网络在将针对期望属性生成的输出再次输入同一网络、但目标属性反转时，恢复原始输入图像。尽管自一致性损失产生照片级真实感结果，但可证明本应相近的输入与目标域实则差异显著。经验上可通过观察到网络即便将除原始目标反转外的其他属性设为目标也能恢复输入图像而发现这一点。这阻碍了对不同任务网络的结合，或使用网络进行渐进式前向传递。本文给出该效应的经验证据，并提出一种新的损失以弥合输入与目标域分布间的差距。该“三重一致性损失”旨在最小化网络经不同路径到达目标所生成输出间的距离，而与任何中间步骤无关。为表明其有效，我们将三重一致性损失融入一个新的 landmark 引导人脸到人脸合成的训练中，与以往工作相反，所生成图像可同时经历表情与姿态的大幅变换。据我们所知，我们首个解决了自域合成中分布不匹配问题，并提出了“in-the-wild” landmark 引导合成。代码将发布于 https://github.com/ESanchezLozano/GANnotation