基于面部关键点变换的身份保持姿态引导角色动画
计算机视觉与模式识别
2025-03-19 v2 机器学习
摘要
在保持面部身份一致性的前提下创建逼真的姿态引导图像到视频角色动画一直备受挑战，尤其是在复杂动态场景（如舞蹈）中，需要精确的身份一致性。现有方法常因驱动视频提取的面部关键点与参考图像面部几何之间的错位，难以维持面部连贯性。为此，本文提出面部关键点变换（FLT）方法，利用 3D 形状可变模型（3D Morphable Model）来解决此问题。FLT 将 2D 关键点转换为 3D 人脸模型，调整 3D 人脸模型以与参考身份对齐，然后转换回 2D 关键点以指导图像到视频生成过程。该方法确保与参考人脸几何的准确对齐，增强了生成视频与参考图像之间的一致性。实验结果表明，FLT 有效保留了面部身份，显著改善了姿态引导角色动画模型的表现。
引用
@article{arxiv.2412.08976,
title = {Identity-Preserving Pose-Guided Character Animation via Facial Landmarks Transformation},
author = {Lianrui Mu and Xingze Zhou and Wenjie Zheng and Jiangnan Ye and Haoji Hu},
journal= {arXiv preprint arXiv:2412.08976},
year = {2025}
}
备注
6 pages, 4 figures