GIF：可生成可解释人脸

逼真人类面部的可视化与表情动画一直是长期挑战。3D 人脸建模方法提供参数化控制但生成不真实的图像，另一方面，GAN（生成对抗网络）等生成式 2D 模型输出逼真人脸图像，但缺乏显式控制。近期方法获得部分控制，要么尝试以无监督方式解耦不同因素，要么在预训练模型上事后添加控制。然而，无条件 GAN 可能纠缠难以后续解除的因素。我们在生成模型上以预定义控制参数为条件，以鼓励生成过程中的解耦。具体而言，我们以生成式 3D 人脸模型 FLAME 为条件对 StyleGAN2 进行条件化。虽然以 FLAME 参数为条件产生不尽人意的结果，我们发现以渲染的 FLAME 几何与光度细节为条件效果良好。这给了我们一个名为 GIF（Generative Interpretable Faces，可生成可解释人脸）的生成式 2D 人脸模型，其提供 FLAME 的参数化控制。此处，可解释指不同参数的语义含义。给定形状、姿态、表情的 FLAME 参数，外观、光照参数以及额外的风格向量，GIF 输出逼真人脸图像。我们进行基于 AMT 的感知研究，定量与定性评估 GIF 对其条件的遵循程度。代码、数据与训练模型已公开供研究使用：http://gif.is.tue.mpg.de。