基于半监督对抗学习从三维可变形模型生成新身份的真实感人脸图像
计算机视觉与模式识别
2020-09-09 v1
摘要
我们提出一种新颖的端到端半监督对抗框架，以三维可变形模型为条件，生成具有丰富表情、姿态与光照变化的新身份真实感人脸图像。以往的对抗风格迁移方法要么以大量配对数据监督其网络，要么以高度欠约束的双向生成框架在非监督方式下使用非配对数据。我们引入成对对抗监督，通过少量配对真实与合成图像以及大量非配对数据来约束双向域适应。我们进行了广泛的定性与定量实验以验证我们的思路。所生成的新身份人脸图像包含姿态、光照与表情多样性，定性结果表明它们受合成输入图像高度约束，同时增添了真实感并保留了身份信息。我们将所提方法生成的人脸图像与真实数据集结合以训练人脸识别算法。我们在两个具有挑战性的数据集 LFW 与 IJB-A 上评估了该模型。我们观察到，由我们的框架生成的图像持续优于使用 Oxford VGG Face 数据集训练的深度人脸识别网络，并取得了与当前最优（state-of-the-art）相当的结果。
引用
@article{arxiv.1804.03675,
title = {Semi-supervised Adversarial Learning to Generate Photorealistic Face Images of New Identities from 3D Morphable Model},
author = {Baris Gecer and Binod Bhattarai and Josef Kittler and Tae-Kyun Kim},
journal= {arXiv preprint arXiv:1804.03675},
year = {2020}
}