单次人脸重演

为了实现逼真的形状（如姿态和表情）迁移，现有人脸重演方法依赖于一组目标人脸来学习特定主体的特征。然而，在真实场景中，终端用户通常手头只有一张目标人脸，导致现有方法无法适用。在这项工作中，我们通过提出一种新颖的单次人脸重演学习框架来弥补这一差距。我们的核心见解是，单次学习器应能够解耦并组合外观与形状信息以实现有效建模。具体而言，首先通过相应的编码器将目标人脸外观和源人脸形状投影到潜在空间中。然后通过学习一个共享解码器来关联这两个潜在空间，该解码器聚合多级特征以生成最终的重演结果。为了进一步提高胡须和头发区域的合成质量，我们额外提出了 FusionNet，它结合了我们所学习的解码器与传统扭曲方法的优势。大量实验表明，我们的单次人脸重演系统在迁移保真度以及身份保持能力方面均优于替代方法。更值得注意的是，我们仅使用每个主体一张目标图像进行训练的方法取得了与使用一组目标图像的方法相竞争的结果，证明了这项工作的实用价值。代码、模型以及额外一组重演人脸已在项目页面公开发布。