深度视频肖像

我们提出了一种仅使用输入视频即可实现照片级真实感肖像视频重新动画化的新方法。与现有仅限于面部表情操控的方法不同，我们首次将完整的 3D 头部位置、头部旋转、面部表情、视线注视与眨眼从源演员迁移至目标演员的肖像视频。我们方法的核心是一个具有新颖时空架构的生成式神经网络。该网络以参数化人脸模型的合成渲染图作为输入，并据此预测给定目标演员的照片级真实感视频帧。此渲染到视频的迁移所实现的真实感源于细致的对抗训练，因此我们能创建模仿合成输入行为的修改后目标视频。为支持源到目标视频的重新动画化，我们用源视频重建的头部动画参数渲染合成目标视频，并将其送入训练好的网络——从而完全控制目标。借助自由重组源与目标参数的能力，我们得以展示大量视频改写应用，而无需显式建模头发、身体或背景。例如，我们可通过交互式用户控制编辑重新演绎完整头部，并实现高保真视觉配音。为证明输出质量之高，我们进行了广泛的实验与评估，其中用户研究表明我们的视频编辑难以被察觉。