实时深度动态角色
计算机视觉与模式识别
2021-09-01 v2
摘要
我们提出了一种深度视频真实感3D人体角色模型，该模型以一种新的弱监督方式从多视角图像中学习，展现出高度真实的形状、运动和动态外观。与先前工作不同，我们可控的3D角色以高效的数据驱动方式展示依赖于骨骼身体运动的动态效果（例如裙摆的摆动），无需复杂的物理模拟。我们的角色模型还具备一个学习到的动态纹理模型，该模型考虑了照片真实感的运动相关外观细节以及视点相关的光照效果。在训练期间，我们不需要求助于困难的人体动态3D捕捉；相反，我们可以以弱监督方式完全从多视角视频训练我们的模型。为此，我们提出了一种参数化且可微分的角色表示，它允许我们将粗粒度和细粒度动态形变（例如服装褶皱）建模为显式的时空连贯网格几何，并辅以依赖于运动和视点的高质量动态纹理。作为模型输入，仅需要任意的3D骨骼运动，使其与既有的3D动画流程直接兼容。我们采用一种新颖的图卷积网络架构来实现身体与衣物的运动相关形变学习（包括动态效果），并由一个神经生成式动态纹理模型创建相应的动态纹理图。我们表明，仅提供新的骨骼运动，我们的模型即可生成运动相关的表面形变、物理上合理的动态衣物形变，以及比先前最先进方法细节层次更高、甚至实时的视频真实感表面纹理。
引用
@article{arxiv.2105.01794,
title = {Real-time Deep Dynamic Characters},
author = {Marc Habermann and Lingjie Liu and Weipeng Xu and Michael Zollhoefer and Gerard Pons-Moll and Christian Theobalt},
journal= {arXiv preprint arXiv:2105.01794},
year = {2021}
}