GANFIT: 用于高保真三维人脸重建的生成对抗网络拟合
计算机视觉与模式识别
2020-09-09 v2
摘要
在过去几年中,借助深度卷积神经网络(DCNNs)的力量,从单张图像重建三维面部结构的研究做了大量工作。在最近的工作中,采用可微渲染器来学习面部身份特征与用于形状和纹理的三维可变形模型参数之间的关系。纹理特征要么对应于线性纹理空间的组分,要么由自编码器直接从真实场景(in-the-wild)图像中学习。在所有情况下,最先进方法的面部纹理重建质量仍无法以高保真度建模纹理。在本文中,我们采取一种截然不同的方法,利用生成对抗网络(GANs)和DCNNs的力量从单张图像重建面部纹理和形状。即,我们利用GANs在UV空间中训练一个非常强大的面部纹理生成器。然后,我们重新审视原始的三维可变形模型(3DMMs)拟合方法,利用非线性优化在新视角下寻找能最佳重建测试图像的最优潜在参数。我们通过端到端可微框架在预训练深度身份特征的监督下优化参数。我们展示了在照片级真实感和身份保持的三维人脸重建方面的优异结果,并且据我们所知首次实现了具有高频细节的面部纹理重建。
引用
@article{arxiv.1902.05978,
title = {GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction},
author = {Baris Gecer and Stylianos Ploumpis and Irene Kotsia and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:1902.05978},
year = {2020}
}
备注
CVPR 2019 camera ready; Check project page: https://github.com/barisgecer/ganfit for full resolution results and more