基于稠密对应估计的语义感知单次人脸重演
计算机视觉与模式识别
2022-11-24 v1
摘要
由于源人脸与驱动人脸之间的身份不匹配，单次人脸重演是一项具有挑战性的任务。具体而言，驱动对象次优解耦的身份信息会不可避免地干扰重演结果并导致脸型畸变。为解决该问题，本文提出使用三维可变形模型（3D Morphable Model, 3DMM）进行显式人脸语义分解与身份解耦。我们并非单独使用3D系数进行重演控制，而是利用3DMM的生成能力渲染带纹理的人脸代理。这些代理包含丰富而紧凑的人脸几何与语义信息，使我们能够通过估计稠密对应来计算源图像与驱动图像间的脸部运动场。据此，我们可根据运动场扭曲源图像来近似重演结果，并采用生成对抗网络（Generative Adversarial Network, GAN）进一步提升扭曲结果的视觉质量。在多个数据集上的大量实验表明，所提方法在身份保持与重演完成度方面均优于现有的最优基准。
引用
@article{arxiv.2211.12674,
title = {Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation},
author = {Yunfan Liu and Qi Li and Zhenan Sun and Tieniu Tan},
journal= {arXiv preprint arXiv:2211.12674},
year = {2022}
}