FaceVerse：基于混合数据集的细粒度可细节控制三维人脸可变形模型
计算机视觉与模式识别
2022-05-30 v3
摘要
我们提出 FaceVerse，一个细粒度三维神经人脸模型，其构建自包含 60K 融合 RGB-D 图像与 2K 高保真三维头部扫描模型的混合东亚人脸数据集。提出一种新颖的由粗到细结构以更好利用我们的混合数据集。在粗模块中，我们从大规模 RGB-D 图像生成基础参数化模型，能预测不同性别、年龄等的准确粗略三维人脸模型。随后在细模块中，引入以高保真扫描模型训练的条件 StyleGAN 架构，以丰富精细面部几何与纹理细节。注意不同于先前方法，我们的基础与细节模块均可变，从而实现调整三维人脸模型基本属性与面部细节的创新应用。此外，我们提出基于可微渲染的单图像拟合框架。丰富实验表明我们的方法优于 SOTA 方法。
引用
@article{arxiv.2203.14057,
title = {FaceVerse: a Fine-grained and Detail-controllable 3D Face Morphable Model from a Hybrid Dataset},
author = {Lizhen Wang and Zhiyuan Chen and Tao Yu and Chenguang Ma and Liang Li and Yebin Liu},
journal= {arXiv preprint arXiv:2203.14057},
year = {2022}
}
备注
https://github.com/LizhenWangT/FaceVerse