基于组合辅助 GAN 的逼真人脸照片–素描合成

人脸照片–素描合成旨在以给定照片/素描为条件生成对应面部素描/照片，其在数字娱乐与执法等领域有广泛应用。由于对结构真实性与纹理一致性的限制，精确描绘人脸照片/素描仍具挑战。现有方法虽取得令人信服的结果，但多在各类面部部件上产生模糊效应与较大形变，导致合成图像的不真实感。为应对此挑战，本文提出利用面部组合信息辅助人脸素描/照片的合成。具体地，我们提出一种新颖的组合辅助生成对抗网络（CA-GAN）用于人脸照片–素描合成。在 CA-GAN 中，我们使用成对输入（包括人脸照片/素描及相应像素级人脸标签）来生成素描/照片。此外，为使训练聚焦于难生成部件与精细面部结构，我们提出一种组合重建损失。最后，我们使用堆叠 CA-GAN（SCA-GAN）进一步修正缺陷并增添逼真细节。实验结果表明，我们的方法能在广泛具有挑战性的数据上生成视觉舒适且保持身份的人脸素描/照片。我们的方法达到了 SOTA 质量，将此前最优的 Frechet Inception 距离（FID）大幅降低。此外，我们证明了所提方法具备相当的泛化能力。我们已公开代码与结果：https://fei-hdu.github.io/ca-gan/。