基于属性引导扩散模型的人脸动画
计算机视觉与模式识别
2023-04-07 v1
摘要
人脸动画在计算机视觉中已取得诸多进展。然而，主流的基于 GAN 的方法因复杂的运动形变而产生不自然的扭曲与伪影。本文提出一种基于属性引导扩散模型（FADM）的人脸动画框架，这是首个利用扩散模型优越建模能力进行照片级真实说话头生成的工作。为缓解扩散模型不可控的合成效果，我们设计属性引导条件网络（AGCN）来自适应结合粗动画特征与 3D 人脸重建结果，从而将外观与运动条件融入扩散过程。这些特定设计帮助 FADM 修正不自然伪影与扭曲，并通过带精确动画属性的迭代扩散细化丰富高保真面部细节。FADM 可灵活有效地改进现有动画视频。在广泛使用说话头基准上的大量实验验证了 FADM 优于先前方法的效力。
引用
@article{arxiv.2304.03199,
title = {Face Animation with an Attribute-Guided Diffusion Model},
author = {Bohan Zeng and Xuhui Liu and Sicheng Gao and Boyu Liu and Hong Li and Jianzhuang Liu and Baochang Zhang},
journal= {arXiv preprint arXiv:2304.03199},
year = {2023}
}
备注
8 pages, 6 figures