CGOF++：基于条件生成占据场的可控三维人脸合成
计算机视觉与模式识别
2023-10-31 v2
摘要
借助图像生成模型的最新进展，现有的可控人脸图像合成方法能够生成高保真图像，并具有一定程度的可控性，例如控制所生成人脸图像的形状、表情、纹理和姿态。然而，先前的方法聚焦于可控的二维图像生成模型，在大表情和姿态变化下容易产生不一致的人脸图像。本文中，我们提出一个新的基于 NeRF 的条件三维人脸合成框架，通过施加来自三维人脸先验的显式三维条件，实现对生成人脸图像的三维可控性。其核心是一个条件生成占据场（cGOF++），它有效地强制所生成人脸的形状符合给定的三维可变形模型（3DMM）网格，该模型构建于近期基于三平面的生成模型 EG3D [1] 之上。为实现对合成图像细粒度三维人脸形状的精确控制，我们额外将三维 landmark 损失以及体积扭曲损失纳入合成框架。实验验证了所提方法的有效性，其能够生成高保真人脸图像，并展现出比最先进的基于二维的可控人脸合成方法更精确的三维可控性。
引用
@article{arxiv.2211.13251,
title = {CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields},
author = {Keqiang Sun and Shangzhe Wu and Ning Zhang and Zhaoyang Huang and Quan Wang and Hongsheng Li},
journal= {arXiv preprint arXiv:2211.13251},
year = {2023}
}
备注
Accepted to IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). This article is an extension of the NeurIPS'22 paper arXiv:2206.08361