PVP：基于 StyleGAN 的可编辑动态肖像个性化视频先验
计算机视觉与模式识别
2023-06-30 v1 图形学
摘要
肖像合成可创建逼真的数字替身，使用户能够以引人入胜的方式与他人互动。StyleGAN 及其扩展的最新进展在合成照片级真实感且精确重建人脸方面展现出有前景的结果。然而，先前方法常聚焦于正面人脸合成，且由于 StyleGAN 的训练数据分布，多数方法无法处理大幅头部旋转。在本工作中，我们的目标是以单目人脸视频作为输入，创建能够处理极端头部姿态的可编辑动态肖像。用户可生成新视角、编辑外观并驱动面部动画。我们的方法利用关键调谐反演（PTI）从单目视频序列学习个性化视频先验。随后我们将姿态与表情系数输入多层感知机（MLP）并操控潜向量，以合成对象的不同视角与表情。我们还提出新的损失函数，以进一步在潜空间解耦姿态与表情。我们的算法在单目视频数据集上相较先前方法表现出更优性能，并且能够在 RTX 3080 上以 54 FPS 实时运行。
引用
@article{arxiv.2306.17123,
title = {PVP: Personalized Video Prior for Editable Dynamic Portraits using StyleGAN},
author = {Kai-En Lin and Alex Trevithick and Keli Cheng and Michel Sarkis and Mohsen Ghafoorian and Ning Bi and Gerhard Reitmayr and Ravi Ramamoorthi},
journal= {arXiv preprint arXiv:2306.17123},
year = {2023}
}
备注
Project website: https://cseweb.ucsd.edu//~viscomp/projects/EGSR23PVP/