面部视频的深度语义操控

对视频中的面部特征进行编辑和操控是一个有趣且重要的研究领域，具有大量应用，从电影后期制作和视觉特效到用于视频游戏和虚拟助手的逼真虚拟形象。我们的方法支持基于神经渲染和基于 3D 的面部表情建模的语义视频操控。我们专注于通过更改和控制面部表情对视频进行交互式操控，取得有前景的真实感结果。所提方法基于 3D 面部形状与活动的解耦表示和估计，为用户提供对输入视频中面部表情直观且易用的控制。我们还引入了一个用户友好的交互式 AI 工具，该工具处理关于输入视频特定部分中所需表情操控的人类可读语义标签，并合成真实感操控视频。我们通过将情绪标签映射到效价-唤醒空间（其中效价量化情绪的正负面程度，唤醒量化情绪激活的强度）上的点来实现这一点，而这些点又通过专门设计并训练的表情解码器网络映射到解耦的 3D 面部表情。本文给出了详细的定性和定量实验，证明了我们系统的有效性及其取得的有前景的结果。