面向制作生产的视频驱动神经物理基面部资产
摘要
生产级工作流在生成令人信服的3D动态人脸时，长期依赖一系列劳动密集型工具来进行几何与纹理生成、动作捕捉与绑定以及表情合成。近期的神经方法实现了单个组件的自动化，但其对应的潜表示无法像传统工具那样为艺术家提供显式控制。本文提出一种基于学习的视频驱动新方法，用于生成具有高质量物理基资产的动态面部几何。在数据收集方面，我们搭建了一个混合多视角光度捕获舞台，并配合超高速摄像机以获取原始3D面部资产。随后，我们使用独立的VAE分别对面部表情、几何与物理基纹理进行建模，并在各网络潜空间之间施加基于全局MLP的表情映射，以保留各属性间的特征。我们还将细节信息建模为物理基纹理的皱纹图，从而实现高质量的4K动态纹理。我们在高保真特定表演者面部捕捉与跨身份面部运动重定向中展示了我们的方法。此外，我们基于多VAE的神经资产以及快速适配方案也可部署以处理野外视频。另外，我们通过提供多种具有高真实感的有前景的物理基编辑结果，论证了我们所提显式面部解耦策略的效用。综合实验表明，相较于已有的视频驱动面部重建与动画方法，我们的技术在精度与视觉保真度上更优。
引用
@article{arxiv.2202.05592,
title = {Video-driven Neural Physically-based Facial Asset for Production},
author = {Longwen Zhang and Chuxiao Zeng and Qixuan Zhang and Hongyang Lin and Ruixiang Cao and Wei Yang and Lan Xu and Jingyi Yu},
journal= {arXiv preprint arXiv:2202.05592},
year = {2022}
}
备注
For project page, see https://sites.google.com/view/npfa/ Notice: You may not copy, reproduce, distribute, publish, display, perform, modify, create derivative works, transmit, or in any way exploit any such content, nor may you distribute any part of this content over any network, including a local area network, sell or offer it for sale, or use such content to construct any kind of database