VariTex：变分神经人脸纹理
计算机视觉与模式识别
2021-08-19 v3 人工智能
图形学
机器学习
摘要
深度生成模型能够合成具有新颖身份的人脸照片级真实图像。然而，此类技术广泛应用的一个关键挑战在于提供对语义上有意义参数的独立控制：外观、头部姿态、脸型与面部表情。本文中，我们提出 VariTex——据我们所知，这是首个学习神经人脸纹理的变分潜在特征空间的方法，其允许对新身份进行采样。我们将该生成模型与参数化人脸模型结合，获得对头部姿态和面部表情的显式控制。为生成完整的人头图像，我们提出一种加性解码器，其添加如头发等合理细节。一种新颖的训练方案强制了一个与姿态无关的潜在空间，并因此允许学习潜在编码与姿态条件化外部区域之间的一对多映射。所得方法能够在细粒度控制头部姿态、脸型与面部表情下生成新身份几何一致的图像。这促进了广泛的下游任务，如采样新身份、改变头部姿态、表情迁移等。代码与模型可在 https://mcbuehler.github.io/VariTex 获取用于研究。
引用
@article{arxiv.2104.05988,
title = {VariTex: Variational Neural Face Textures},
author = {Marcel C. Bühler and Abhimitra Meka and Gengyan Li and Thabo Beeler and Otmar Hilliges},
journal= {arXiv preprint arXiv:2104.05988},
year = {2021}
}
备注
In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021