基于三维面部动力学的图像到视频生成
计算机视觉与模式识别
2021-06-01 v1 图像与视频处理
摘要
我们提出一种通用模型 FaceAnime，用于从静态图像完成多种视频生成任务。从单张人脸图像生成视频是一个有趣的问题，通常借助生成对抗网络（GANs）来融合输入人脸图像与一系列稀疏面部关键点信息加以解决。然而，由于面部关键点的表征能力较弱，生成的人脸图像常出现质量损失、图像畸变、身份改变与表情不匹配等问题。本文提出依据重建的三维面部动力学从单张人脸图像“想象”出人脸视频，旨在生成逼真且保持身份的人脸视频，并精确预测姿态与面部表情。三维动力学揭示了面部表情与运动的变化，可作为引导高逼真人脸视频生成的强先验知识。特别地，我们探索人脸视频预测，并利用精心设计的 3D 动态预测网络为单张人脸图像预测三维动态序列。随后通过稀疏纹理映射算法进一步渲染三维动力学，以恢复结构细节与稀疏纹理，从而生成人脸帧。我们的模型可通用于各类 AR/VR 与娱乐应用，如人脸视频重定向与人脸视频预测。优越的实验结果充分证明了其从单张源人脸图像生成高保真、保持身份且视觉愉悦的人脸视频片段的有效性。
引用
@article{arxiv.2105.14678,
title = {Image-to-Video Generation via 3D Facial Dynamics},
author = {Xiaoguang Tu and Yingtian Zou and Jian Zhao and Wenjie Ai and Jian Dong and Yuan Yao and Zhikang Wang and Guodong Guo and Zhifeng Li and Wei Liu and Jiashi Feng},
journal= {arXiv preprint arXiv:2105.14678},
year = {2021}
}