面向无监督人脸动画的运动细化学习

无监督人脸动画旨在基于源图像的外观生成人脸视频，并模仿驱动视频中的运动。现有方法通常采用基于先验的运动模型（例如局部仿射运动模型或局部薄板样条运动模型）。尽管其能够捕捉粗粒度面部运动，但由于这些方法对更精细面部运动的建模能力有限，在局部区域（如嘴唇和眼睛）的微小运动周围常可观察到伪影。本工作中，我们设计了一种新的无监督人脸动画方法，以同时学习粗粒度与更精细的运动。具体而言，在利用局部仿射运动模型学习全局粗粒度面部运动的同时，我们设计了一种新颖的运动细化模块，以补偿局部仿射运动模型在局部区域建模更精细面部运动的不足。该运动细化从源图像与驱动图像之间的稠密相关性中学习。具体地，我们首先基于源图像与驱动图像的关键点特征构建结构相关性体；随后，我们训练一个模型从低分辨率到高分辨率迭代地生成微小面部运动。学习到的运动细化与粗运动结合以生成新图像。在广泛使用基准上的大量实验表明，我们的方法在现有最优基线中取得了最佳结果。