面向开放集身份保持人脸合成
计算机视觉与模式识别
2018-08-10 v2
摘要
我们提出一个基于生成对抗网络(Generative Adversarial Networks, GAN)的框架来解耦人脸的身份与属性，从而能够方便地重新组合不同身份与属性，用于开放域中的身份保持人脸合成。先前的身份保持人脸合成过程很大程度上局限于合成训练数据集中已知身份的人脸。为了合成训练数据集之外身份的人脸，我们的框架需要该对象的一张输入图像来生成身份向量，以及任意另一张输入人脸图像来提取属性向量，捕获例如姿态、表情、光照甚至背景。然后我们重新组合身份向量与属性向量，以合成该对象具有所提取属性的新人脸。我们提出的框架不需要以任何方式标注人脸属性。它使用非对称损失函数进行训练，以更好地保持身份并稳定训练过程。它还能有效利用大量无标签训练人脸图像，进一步提高对未出现在有标签训练人脸数据集中对象的合成人脸保真度。我们的实验证明了所提框架的有效性。我们还展示了其在更广泛的一组应用中的用途，包括人脸正向化、人脸属性变形和人脸对抗样本检测。
引用
@article{arxiv.1803.11182,
title = {Towards Open-Set Identity Preserving Face Synthesis},
author = {Jianmin Bao and Dong Chen and Fang Wen and Houqiang Li and Gang Hua},
journal= {arXiv preprint arXiv:1803.11182},
year = {2018}
}