HQ3DAvatar：高质量可控 3D 头部化身

Kartik Teotia; Mallikarjun B R; Xingang Pan; Hyeongwoo Kim; Pablo Garrido; Mohamed Elgharib; Christian Theobalt

HQ3DAvatar：高质量可控 3D 头部化身

计算机视觉与模式识别 2023-03-28 v1 图形学

作者: Kartik Teotia , Mallikarjun B R , Xingang Pan , Hyeongwoo Kim , Pablo Garrido , Mohamed Elgharib , Christian Theobalt

在 arXiv 上查看 ↗ PDF ↗

摘要

多视角体渲染技术近期在建模与合成高质量头部化身方面展现出巨大潜力。捕获完整头部动态表现的一种常见方法，是利用基于网格的模板或基于 3D 立方体的图形基元跟踪底层几何。尽管这些基于模型的方法取得了可喜结果，它们常难以学习复杂的几何细节，如口腔内部、头发以及随时间变化的拓扑改变。本文提出一种构建高真实感数字头部化身的新方法。我们的方法通过由神经网络参数化的隐式函数学习规范空间，并在所学特征空间中利用多分辨率哈希编码，从而实现高质量、更快速训练与高分辨率渲染。测试时，我们的方法由单目 RGB 视频驱动；其中图像编码器提取人脸特定特征，这些特征同时作为所学规范空间的条件，从而在训练时促使依赖于形变的纹理变化。我们还提出一种基于光流的新损失，以确保所学规范空间中的对应性，从而促使无伪影且时间一致的渲染。我们在具挑战性的面部表情上展示结果，并以交互式实时速率对中等图像分辨率实现自由视角渲染。我们的方法在视觉与数值上均优于所有现有方法。我们将发布多身份数据集以推动进一步研究。项目页见：https://vcai.mpi-inf.mpg.de/projects/HQ3DAvatar/

关键词

3D 头部化身体渲染隐式函数多分辨率哈希编码单目驱动光流损失

引用

@article{arxiv.2303.14471,
  title  = {HQ3DAvatar: High Quality Controllable 3D Head Avatar},
  author = {Kartik Teotia and Mallikarjun B R and Xingang Pan and Hyeongwoo Kim and Pablo Garrido and Mohamed Elgharib and Christian Theobalt},
  journal= {arXiv preprint arXiv:2303.14471},
  year   = {2023}
}

备注

16 Pages, 15 Figures. Project page: https://vcai.mpi-inf.mpg.de/projects/HQ3DAvatar/

HQ3DAvatar：高质量可控 3D 头部化身

摘要

关键词

引用

备注

相关论文