基于可控GAN的跨域人脸合成
计算机视觉与模式识别
2019-11-01 v1
摘要
研究表明，在视频监控中应用的人脸识别（FR）系统，当设计数据通过合成人脸生成进行增强时，其性能会得到提升。例如，成对匹配器（如深度孪生网络）通常依赖于每人一张参考图像库，情况便是如此。然而，由于在源域中生成的合成图像可能因相对于目标域的域偏移而在实际运行中无法提升性能。此外，尽管生成对抗网络（GANs）的出现实现了逼真的合成生成，但往往难以控制合成人脸生成的条件。本文提出一种跨域人脸合成方法，其集成了一个新的可控GAN（C-GAN）。它采用现成的3D人脸模型作为模拟器，在各种姿态下生成人脸图像。模拟图像与噪声被输入C-GAN进行真实感细化，该过程采用额外的对抗博弈作为第三参与者以保留细化后图像的身份与特定面部属性。这使得生成反映目标域捕获条件的逼真合成人脸图像成为可能，同时控制GAN输出以在期望的姿态条件下生成人脸。实验使用Chokepoint和COX-S2V数据集中的视频，以及用于每人单参考静态图像FR的深度孪生网络进行。结果表明，相较于当前最先进的合成数据增强方法，所提方法能提供更高的准确率。
引用
@article{arxiv.1910.14247,
title = {Cross-Domain Face Synthesis using a Controllable GAN},
author = {Fania Mokhayeri and Kaveh Kamali and Eric Granger},
journal= {arXiv preprint arXiv:1910.14247},
year = {2019}
}