Fast-GANFIT：用于高保真三维人脸重建的生成对抗网络
计算机视觉与模式识别
2022-03-28 v1
摘要
利用深度卷积神经网络（DCNNs）的强大能力，从单张图像重建三维面部结构已做了大量工作。在近期工作中，纹理特征要么对应于线性纹理空间的组分，要么由自编码器直接从真实场景图像中学习。在所有情况下，面部纹理重建的质量仍无法建模具有高频细节的面部纹理。在本文中，我们采取一种截然不同的方法，借助生成对抗网络（GANs）与 DCNNs 的力量，从单张图像重建面部纹理与形状。具体而言，我们利用 GANs 从大规模三维纹理数据集训练一个非常强大的面部纹理先验。随后，我们重新审视原始的的三维可变形模型（3DMMs）拟合，利用非线性优化在新视角下寻找最优潜在参数以最佳重建测试图像。为对初始化具有鲁棒性并加速拟合过程，我们提出了一种基于新颖自监督回归的方法。我们展示了在照片真实感与身份保持的三维人脸重建方面的优异结果，并且据我们所知首次实现了具有高频细节的面部纹理重建。
引用
@article{arxiv.2105.07474,
title = {Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction},
author = {Baris Gecer and Stylianos Ploumpis and Irene Kotsia and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2105.07474},
year = {2022}
}
备注
TPAMI camera ready (submitted: 05-May-2020); Check project page: https://github.com/barisgecer/GANFit. arXiv admin note: substantial text overlap with arXiv:1902.05978