LI-Net：大姿态保持身份的人脸重演网络
计算机视觉与模式识别
2021-04-08 v1 人工智能
多媒体
摘要
人脸重演是一项具挑战性的任务，因为难以同时保持准确的表情、姿态与身份。多数现有方法直接将驱动人脸关键点应用于重演源人脸，忽略两身份间的内在差距，导致身份不匹配问题。此外，它们在编码驱动人脸时忽视表情与姿态特征的纠缠，致使大姿态重演脸上表情不准与视觉伪影。为解决这些问题，我们提出大姿态保持身份的人脸重演网络 LI-Net。具体而言，采用 Landmark Transformer 调整驱动关键点图像，以缩小驱动与源关键点图像间的身份差距。随后 Face Rotation Module 与 Expression Enhancing Generator 将变换后关键点图像解耦为姿态与表情特征，并分别重演这些属性以生成具准确表情与姿态的保身份人脸。定性与定量实验结果均证明了本方法的优越性。
引用
@article{arxiv.2104.02850,
title = {LI-Net: Large-Pose Identity-Preserving Face Reenactment Network},
author = {Jin Liu and Peng Chen and Tao Liang and Zhaoxing Li and Cai Yu and Shuqiao Zou and Jiao Dai and Jizhong Han},
journal= {arXiv preprint arXiv:2104.02850},
year = {2021}
}
备注
IEEE International Conference on Multimedia and Expo(ICME) 2021 Oral