中文

i3DMM:人体头部的深度隐式三维可变形模型

计算机视觉与模式识别 2020-12-01 v1 图形学 机器学习

摘要

我们提出了首个完整头部的深度隐式三维可变形模型(i3DMM)。与早期的可变形人脸模型不同,它不仅捕捉正面面部的身份特定几何、纹理与表情,还对包括头发在内的整个头部进行建模。我们收集了一个由64名具有不同表情和发型的人组成的新数据集来训练 i3DMM。我们的方法具有以下有利特性:(i)它是首个包含头发的完整头部可变形模型。(ii)与基于网格的模型相比,它仅需刚性对齐的扫描数据即可训练,无需困难的非刚性配准。(iii)我们设计了一种新颖的架构,将形状模型解耦为一个隐式参考形状及其形变。由此,形状间的稠密对应可以隐式学习。(iv)该架构使我们能够在语义上解耦几何与颜色分量,因为颜色是在参考空间中学习的。几何进一步解耦为身份、表情和发型,而颜色解耦为身份和发型分量。我们通过消融研究、与最先进(SOTA)模型的比较,以及语义头部编辑和纹理迁移等应用展示了 i3DMM 的优势。我们将公开我们的模型。

关键词

引用

@article{arxiv.2011.14143,
  title  = {i3DMM: Deep Implicit 3D Morphable Model of Human Heads},
  author = {Tarun Yenamandra and Ayush Tewari and Florian Bernard and Hans-Peter Seidel and Mohamed Elgharib and Daniel Cremers and Christian Theobalt},
  journal= {arXiv preprint arXiv:2011.14143},
  year   = {2020}
}

备注

Project page: http://gvv.mpi-inf.mpg.de/projects/i3DMM/