用于人脸图像动画的从稀疏到稠密的运动迁移
计算机视觉与模式识别
2021-09-06 v2
摘要
从单张图像进行人脸图像动画已取得显著进展。然而，当仅有稀疏关键点可用作驱动信号时，这仍然具有挑战性。给定一张源人脸图像和一组稀疏人脸关键点序列，我们的目标是生成模仿关键点运动的人脸视频。我们开发了一种高效且有效的从稀疏关键点到人脸图像的运动迁移方法。随后我们将全局与局部运动估计结合在一个统一模型中，以忠实地迁移运动。该模型能够学习将运动的前景从背景中分割出来，并不仅生成全局运动（如人脸的旋转与平移），还生成细微的局部运动（如注视变化）。我们进一步改进了视频上的人脸关键点检测。借助时间上更好对齐的关键点序列进行训练，我们的方法能够生成时间连贯且视觉质量更高的视频。实验表明，我们在同身份测试上取得了与最先进的图像驱动方法相当的结果，并在跨身份测试上取得了更好的结果。
引用
@article{arxiv.2109.00471,
title = {Sparse to Dense Motion Transfer for Face Image Animation},
author = {Ruiqi Zhao and Tianyi Wu and Guodong Guo},
journal= {arXiv preprint arXiv:2109.00471},
year = {2021}
}
备注
Accepted by ICCV 2021 Advances in Image Manipulation Workshop