中文

具有一致纹理参数化的单图隐式可变形人脸

计算机视觉与模式识别 2023-05-05 v1

摘要

对于可动画且可定制的优质 3D 虚拟形象的可及创建,需求正日益增长。尽管 3D 可变形模型为编辑与动画提供直观控制,且对单视图人脸重建具备鲁棒性,它们却难以捕捉几何与外观细节。基于神经隐式表示(如符号距离函数(SDF)或神经辐射场)的方法接近照片级真实感,但难以动画化且对未见数据泛化不佳。为应对此问题,我们提出一种构建隐式 3D 可变形人脸模型的新方法,其既具泛化性又便于直观编辑。从一组高质量 3D 扫描训练所得,我们的人脸模型由几何、表情与纹理潜码参数化,并带有习得 SDF 与显式 UV 纹理参数化。一旦训练完成,我们可通过利用习得先验将单张自然场景图像投影至模型潜空间,从而重建虚拟形象。我们的隐式可变形人脸模型可用于从新视角渲染虚拟形象、通过修改表情码动画面部表情,以及通过在习得 UV 纹理图上直接绘制来编辑纹理。我们从定量与定性上证明,相较最先进(SOTA)方法,我们的方法在照片真实感、几何与表情精度上均有所提升。

关键词

引用

@article{arxiv.2305.03043,
  title  = {Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization},
  author = {Connor Z. Lin and Koki Nagano and Jan Kautz and Eric R. Chan and Umar Iqbal and Leonidas Guibas and Gordon Wetzstein and Sameh Khamis},
  journal= {arXiv preprint arXiv:2305.03043},
  year   = {2023}
}

备注

SIGGRAPH 2023, Project Page: https://research.nvidia.com/labs/toronto-ai/ssif