FDLS：一种面向制作质量、可控且可重定向面部表演的深度学习方法

视觉效果通常需要创建逼真的合成人类，并将演员的表演重定向到外星人和怪物等类人角色。实现娱乐中所要求的富有表现力的表演，需要操控具有数百个参数的复杂模型。完全的创意控制要求能在制作任何阶段自由编辑，这禁止使用具有不可解释参数的全自动“黑箱”方案。另一方面，用这些复杂模型生成逼真动画既困难又费力。本文描述FDLS（面部深度学习解算器），它是Weta Digital应对这些挑战的方案。FDLS采用由粗到细且人在回路的策略，允许在解算过程的多个阶段对解算出的表演进行验证与编辑。为训练FDLS，我们首先将原始动作捕捉数据转换为鲁棒图特征。其次，基于艺术家通常在推进更精细细节前先完成下颌通道动画的观察，我们先解算下颌运动，并基于区域网络以下颌位置为条件预测精细表情。最后，艺术家可选择在FDLS解算之上调用非线性微调过程，以尽可能贴合动作捕捉虚拟标记。FDLS支持在需要时编辑以改进深度学习解算结果，并能处理演员面部形状的日常微小变化。FDLS在许多情况下以最少训练与极少或零手动工作量实现可靠且制作质量的表演解算，同时也允许在异常困难情况下对解算进行引导与编辑。该系统已开发数年，并用于多部主流电影。