单次驱动的人脸动画平台
计算机视觉与模式识别
2024-07-15 v1
摘要
人脸动画的目标是利用视频或音频输入提供的驱动条件，从单张参考人脸生成动态且富有表现力的说话头视频。当前方法通常需要针对特定身份进行微调，并且由于Wav2Pose模块效果有限，常常无法生成富有表现力的视频。为了促进单次和更连续的说话头视频的生成，我们通过集成人脸定位器和运动帧机制，改进了一个现有的图像到视频模型。随后，我们使用大量人脸视频数据集优化该模型，显著增强了其生成高质量、富有表现力的说话头视频的能力。此外，我们利用Gradio框架开发了一个演示平台，简化了流程，使用户能够快速创建定制的说话头视频。
引用
@article{arxiv.2407.08949,
title = {One-Shot Pose-Driving Face Animation Platform},
author = {He Feng and Donglin Di and Yongjia Ma and Wei Chen and Tonghua Su},
journal= {arXiv preprint arXiv:2407.08949},
year = {2024}
}