基于条件生成占据场的可控三维人脸合成
计算机视觉与模式识别
2022-12-13 v2
摘要
借助近期图像生成模型的进展，现有的可控人脸图像合成方法已能生成高保真图像，并具备一定程度的可控性，例如控制所生成人脸图像的形状、表情、纹理与姿态。然而，这些方法聚焦于二维图像生成模型，在大幅表情与姿态变化下容易产生不一致的人脸图像。本文提出一种基于NeRF的新型条件三维人脸合成框架，通过施加来自三维人脸先验的显式三维条件，实现对生成人脸图像的三维可控性。其核心是一个条件生成占据场（cGOF），能有效约束所生成人脸的形状以符合给定的三维可变形模型（3DMM）网格。为实现对合成图像细粒度三维人脸形状的精确控制，我们额外将三维 landmark 损失与体积扭曲损失纳入合成算法。实验验证了所提方法的有效性，其能够生成高保真人脸图像，并展现出比最先进的基于二维的可控人脸合成方法更精确的三维可控性。代码与演示见 https://keqiangsun.github.io/projects/cgof。
引用
@article{arxiv.2206.08361,
title = {Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields},
author = {Keqiang Sun and Shangzhe Wu and Zhaoyang Huang and Ning Zhang and Quan Wang and HongSheng Li},
journal= {arXiv preprint arXiv:2206.08361},
year = {2022}
}