StyleRig：为肖像图像的三维控制而绑定StyleGAN
计算机视觉与模式识别
2020-06-16 v2 图形学
摘要
StyleGAN能生成具有眼睛、牙齿、头发和背景(颈部、肩部、背景)的照片级真实人脸肖像图像，但缺乏对三维可解释的语义人脸参数(如人脸姿态、表情和场景光照)的类绑定控制。另一方面，三维可变形人脸模型(3DMM)可控制语义参数，但渲染时缺乏照片级真实感，且只建模人脸内部，不建模肖像图像的其他部分(头发、口腔内部、背景)。我们提出首个通过3DMM对预训练且固定的StyleGAN提供类人脸绑定控制的方法。在3DMM的语义参数与StyleGAN的输入之间训练了一个新的绑定网络RigNet。该网络以自监督方式训练，无需手动标注。在测试时，我们的方法生成具有StyleGAN照片级真实感的肖像图像，并提供对人脸三维语义参数的显式控制。
引用
@article{arxiv.2004.00121,
title = {StyleRig: Rigging StyleGAN for 3D Control over Portrait Images},
author = {Ayush Tewari and Mohamed Elgharib and Gaurav Bharaj and Florian Bernard and Hans-Peter Seidel and Patrick Pérez and Michael Zollhöfer and Christian Theobalt},
journal= {arXiv preprint arXiv:2004.00121},
year = {2020}
}
备注
CVPR 2020 (Oral). Project page: https://gvv.mpi-inf.mpg.de/projects/StyleRig/