面向真实感生成式三维人脸模型
计算机视觉与模式识别
2023-10-30 v3
摘要
近年来，受动画、合成数据生成和数字替身等应用推动，二维生成式人脸模型取得显著进展。然而，由于缺乏三维信息，这些二维模型往往难以准确解耦姿态、表情与光照等面部属性，限制了其编辑能力。为克服该局限，本文提出一种三维可控生成式人脸模型，利用现有二维生成模型产出高质量反照率与精确三维形状。通过结合二维人脸生成模型与语义人脸操控，该方法可编辑精细的三维渲染人脸。所提框架采用在形状与反照率上交替下降的优化方法，并利用可微渲染在无三维监督下训练高质量形状与反照率。此外，该方法在知名 NoW 基准的形状重建上优于当前最优（SOTA）方法，并在跨新姿态恢复渲染人脸身份方面平均超越 SOTA 重建模型 10%。文章还展示了通过利用潜空间直接控制三维人脸表情，从而实现基于文本的三维人脸编辑。
引用
@article{arxiv.2304.12483,
title = {Towards Realistic Generative 3D Face Models},
author = {Aashish Rai and Hiresh Gupta and Ayush Pandey and Francisco Vicente Carrasco and Shingo Jason Takagi and Amaury Aubel and Daeil Kim and Aayush Prakash and Fernando de la Torre},
journal= {arXiv preprint arXiv:2304.12483},
year = {2023}
}
备注
Preprint