FAAC：结合锚帧与条件控制的高保真度与可编辑性面部动画生成
计算机视觉与模式识别
2023-12-22 v2
摘要
近年来，扩散模型在视频生成领域促进了显著的进步。然而，创建与面部相关的视频仍面临面部保真度低、缺乏帧一致性、可编辑性有限以及人体姿态不可控等问题。为了应对这些挑战，我们引入了一种面部动画生成方法，在确保帧一致性的同时，增强了面部身份保真度和编辑能力。该方法引入了锚帧的概念，以抵消在原始文本到图像模型中引入运动模块时生成能力的退化。为此我们提出了两种策略：免训练和基于训练的锚帧方法。我们方法的有效性已在多个具有代表性的DreamBooth和LoRA模型上得到验证，在面部保真度、文本到图像可编辑性和视频运动方面，相较于原始结果均有显著改善。此外，我们引入了使用3D参数化面部模型的条件控制，以捕获准确的面部运动和表情。该解决方案通过整合多种控制信号，增强了面部动画生成的创作可能性。更多样本请访问 https://paper-faac.github.io/。
引用
@article{arxiv.2312.03775,
title = {FAAC: Facial Animation Generation with Anchor Frame and Conditional Control for Superior Fidelity and Editability},
author = {Linze Li and Sunqi Fan and Hengjun Pu and Zhaodong Bing and Yao Tang and Tianzhu Ye and Tong Yang and Liangyu Chen and Jiajun Liang},
journal= {arXiv preprint arXiv:2312.03775},
year = {2023}
}