用于单样本人脸动画的几何驱动渐进式扭曲
计算机视觉与模式识别
2022-10-06 v1 机器学习
多媒体
摘要
人脸动画旨在创建具有动画化姿态和表情的真实感肖像视频。常见做法是生成位移场，用于将源图像的像素和特征扭曲到目标。然而，先前的尝试往往产生次优的位移。在本工作中，我们提出一个几何驱动模型，并给出两种作为引导的几何模式：3D人脸渲染位移图和带姿态的神经编码。该模型可任选其中一种模式作为位移估计的引导。为了对未被人脸模型覆盖的位置（例如头发）建模位移，我们求助于源图像特征以获取上下文信息，并提出一个渐进式扭曲模块，该模块在不断增加的分辨率下交替进行特征扭曲与位移估计。我们表明，所提模型能合成高保真肖像视频，并在 VoxCeleb1 和 VoxCeleb2 数据集上针对跨身份与同身份重建均取得新的 SOTA 结果。
引用
@article{arxiv.2210.02391,
title = {Geometry Driven Progressive Warping for One-Shot Face Animation},
author = {Yatao Zhong and Faezeh Amjadi and Ilya Zharkov},
journal= {arXiv preprint arXiv:2210.02391},
year = {2022}
}