Head2Head++：深度面部属性重定向
计算机视觉与模式识别
2021-09-29 v2 机器学习
图像与视频处理
摘要
面部视频重定向是一项具有挑战性的任务，旨在以无缝方式通过驱动单目序列修改目标主体的面部属性。我们利用人脸的三维几何与生成对抗网络（GANs）设计了一种用于面部与头部重演任务的新型深度学习架构。我们的方法不同于纯粹的基于三维模型的方法，也不同于近期使用深度卷积神经网络（DCNNs）生成单帧的基于图像的方法。我们借助序列生成器与专用的动力学判别器网络，成功捕捉驱动单目表演中的复杂非刚性面部运动并合成时间一致的视频。我们进行了全面的定量与定性测试，并通过实验证明，我们所提出的方法能够以照片级真实且保真的方式，将源视频中的面部表情、头部姿态与眼动成功迁移至目标主体，优于其他最先进的方法。最为重要的是，我们的系统以近乎实时的速度（18 fps）执行端到端重演。
引用
@article{arxiv.2006.10199,
title = {Head2Head++: Deep Facial Attributes Re-Targeting},
author = {Michail Christos Doukas and Mohammad Rami Koujan and Viktoriia Sharmanska and Anastasios Roussos},
journal= {arXiv preprint arXiv:2006.10199},
year = {2021}
}
备注
Published in IEEE Transactions on Biometrics, Behavior, and Identity Science (Volume: 3, Issue: 1, Jan. 2021)