Pairwise-GAN：基于姿态的成对训练视角合成
计算机视觉与模式识别
2020-09-15 v1
摘要
三维人脸重建是计算机视觉中的热门应用之一。然而，即便最先进的模型仍需要正面人脸作为输入，这限制了其在真实场景中的使用。类似困境也出现在人脸识别中。旨在从单张侧脸图像恢复正面人脸的新研究已经出现。该领域的先进方法是基于 CycleGAN 的 Face-Transformation 生成对抗网络。这启发了我们的研究，探索 Pix2Pix 与 CycleGAN 两个像素变换模型在正面人脸合成中的表现。我们在 Pix2Pix 上尝试了五种不同的损失函数以提升性能，随后提出用于正面人脸合成的新网络 Pairwise-GAN。Pairwise-GAN 使用两个并行 U-Net 作为生成器、PatchGAN 作为判别器。文中也讨论了详细的超参数。基于人脸相似度比较的定量测量，我们的结果显示，采用 L1 损失、梯度差分损失与身份损失的 Pix2Pix 相比默认 Pix2Pix 模型平均相似度提升 2.72%。此外，Pairwise-GAN 的平均相似度表现比 CycleGAN 好 5.4%，比 Pix2Pix 好 9.1%。
引用
@article{arxiv.2009.06053,
title = {Pairwise-GAN: Pose-based View Synthesis through Pair-Wise Training},
author = {Xuyang Shen and Jo Plested and Yue Yao and Tom Gedeon},
journal= {arXiv preprint arXiv:2009.06053},
year = {2020}
}
备注
The 27th International Conference on Neural Information Processing(ICONIP2020)