人体演员视频的神经渲染与重演

Lingjie Liu; Weipeng Xu; Michael Zollhoefer; Hyeongwoo Kim; Florian Bernard; Marc Habermann; Wenping Wang; Christian Theobalt

人体演员视频的神经渲染与重演

计算机视觉与模式识别 2019-05-13 v3

作者: Lingjie Liu , Weipeng Xu , Michael Zollhoefer , Hyeongwoo Kim , Florian Bernard , Marc Habermann , Wenping Wang , Christian Theobalt

在 arXiv 上查看 ↗ PDF ↗

摘要

我们提出一种在用户控制下生成视频级真实感真人动画的方法。与常规人体角色渲染不同，我们不需要可用的生产级照片真实感 3D 人体模型，而是依赖一段视频序列以及该人的（中等质量的）可控 3D 模板模型。由此，与基于生产级 3D 模型的常规渲染方法相比，我们的方法显著降低了制作成本，并且还可用于真实感编辑现有视频。技术上，这通过训练一个将简单的人体角色合成图像转换为真实感图像的神经网络来实现。为训练我们的网络，我们首先使用模板模型跟踪视频中人的 3D 运动，随后生成视频的合成渲染版本。这些图像然后用于训练一个条件生成对抗网络，将 3D 模型的合成图像转换为人的真实感图像。我们针对被跟踪以获取运动数据的另一人重演评估了我们的方法，并展示了由美术设计的骨架运动生成的视频结果。我们的结果在学习型人体图像合成方面优于最先进水平。项目页面：http://gvv.mpi-inf.mpg.de/projects/wxu/HumanReenactment/

关键词

神经渲染人体重演生成对抗网络 3D 模板模型运动跟踪图像合成

引用

@article{arxiv.1809.03658,
  title  = {Neural Rendering and Reenactment of Human Actor Videos},
  author = {Lingjie Liu and Weipeng Xu and Michael Zollhoefer and Hyeongwoo Kim and Florian Bernard and Marc Habermann and Wenping Wang and Christian Theobalt},
  journal= {arXiv preprint arXiv:1809.03658},
  year   = {2019}
}

备注

ACM ToG paper. Project page: http://gvv.mpi-inf.mpg.de/projects/wxu/HumanReenactment/

人体演员视频的神经渲染与重演

摘要

关键词

引用

备注

相关论文