基于图卷积网络与网格引导的一次性人脸重演

人脸重演旨在将源人脸图像动画化为驱动图像所提供的不同姿态与表情。现有方法要么针对特定身份设计，要么在一次性或少量样本场景下存在身份保持问题。本文提出一种一次性人脸重演方法，利用重建的 3D 网格（即源网格与驱动网格）作为引导来学习重演人脸合成所需的光流。技术上，我们显式地排除重建驱动网格中驱动人脸的身份信息。如此，我们的网络可专注于源人脸的运动估计，而不受驱动人脸形状的干扰。我们提出一个运动网络来学习人脸运动，其为一个非对称自编码器。编码器为图卷积网络（GCN），从网格中学习潜运动向量，解码器利用 CNN 从该潜向量生成光流图像。相较于先前使用稀疏关键点引导光流学习的方法，我们的运动网络直接从 3D 稠密网格学习光流，其提供了光流的详细形状与姿态信息，因而能在重演人脸上实现更精确的表情与姿态。大量实验表明，我们的方法能生成高质量结果，并在定性与定量比较中优于当前最优（SOTA）方法。