MyPortrait:可变形先验引导的个性化肖像生成
计算机视觉与模式识别
2023-12-06 v1
摘要
生成逼真的说话人脸是计算机视觉领域中一个有趣且历史悠久的课题。尽管已取得显著进展,生成具有个性化细节的高质量动态人脸仍具挑战。这主要归因于通用模型无法表示个性化细节,以及对未见可控参数的泛化问题。在本文中,我们提出了MyPortrait,一个用于神经肖像生成的简单、通用且灵活的框架。我们将单目视频中的个性化先验与3D可变形人脸空间中的可变形先验相结合,以在新的可控参数下生成个性化细节。给定单个人的单目视频,我们提出的框架支持视频驱动和音频驱动的人脸动画。根据测试数据是否送入训练,我们的方法提供了实时在线版本和高质量离线版本。在各种指标上的综合实验表明,我们的方法优于state-of-the-art方法。代码将公开发布。
引用
@article{arxiv.2312.02703,
title = {MyPortrait: Morphable Prior-Guided Personalized Portrait Generation},
author = {Bo Ding and Zhenfeng Fan and Shuang Yang and Shihong Xia},
journal= {arXiv preprint arXiv:2312.02703},
year = {2023}
}