Animate Anyone: 面向角色动画的一致且可控的图像到视频合成

角色动画旨在利用驱动信号从静止图像生成角色视频。当前,扩散模型凭借其强大的生成能力已成为视觉生成研究的主流。然而,在图像到视频领域,尤其在角色动画中,时序上保持与角色细节信息的一致性仍是一个艰巨问题。本文利用扩散模型的优势,提出了一种专为角色动画设计的新颖框架。为保留参考图像中精细外观特征的一致性,我们设计了ReferenceNet通过空间注意力融合细节特征。为确保可控性与连续性,我们引入了高效的姿态引导器以指导角色运动,并采用有效的时间建模方法以保证视频帧间的平滑过渡。通过扩充训练数据,我们的方法能够动画化任意角色,在角色动画中相较其他图像到视频方法取得更优结果。此外,我们在时尚视频与人跳舞合成基准上评估了我们的方法,取得了最先进的结果。