用于精准面部动画的语义面部描述符学习
计算机视觉与模式识别
2025-01-30 v1
摘要
面部动画是一项具有挑战性的任务。现有基于模型的方法（利用3DMM或关键点）常导致类似模型的重建效果，无法有效保留身份信息。相反，无模型方法在实现解耦且语义丰富的特征空间方面面临挑战，从而难以实现精准的运动迁移。我们引入语义面部描述符，通过可学习的解耦向量空间来解决这一困境。该方法将面部空间解耦为身份子空间和运动子空间，并通过学习完整正交基向量为每个子空间赋予语义。我们通过对源面部和驱动面部使用编码器获取基向量系数，从而获得身份子空间和运动子空间中的有效面部描述符。最终，这些描述符可被重组为潜在代码来驱动面部动画。我们的做法成功解决了基于模型的方法在高保真身份保留方面的局限性，以及无模型方法在精准运动迁移方面的挑战。在三个具有挑战性的基准测试（即VoxCeleb、HDTF、CelebV）上进行了大量实验。综合的定量和定性结果表明，我们的方法在身份保留和运动迁移方面优于SOTA方法。
引用
@article{arxiv.2501.17718,
title = {Learning Semantic Facial Descriptors for Accurate Face Animation},
author = {Lei Zhu and Yuanqi Chen and Xiaohang Liu and Thomas H. Li and Ge Li},
journal= {arXiv preprint arXiv:2501.17718},
year = {2025}
}
备注
6 pages,6 figures