AnimateAnything：用于视频生成的一致且可控动画
计算机视觉与模式识别
2024-11-19 v1
摘要
我们提出了一种统一的可控视频生成方法AnimateAnything，以便在各种条件下实现精确且一致的视频操作，包括相机轨迹、文本提示和用户运动注释。具体而言，我们仔细设计了多尺度控制特征融合网络，以构建不同条件下的通用运动表示。它显式地将所有控制信息转换为逐帧的光流。然后我们将光流作为运动先验来指导最终的视频生成。在此基础上，为了减少由大规模运动导致的闪烁问题，我们提出了基于频率的稳定模块。它可以通过确保视频在频域上的一致性来增强时间一致性。实验表明，我们的方法优于当前的流行方法。更多细节和视频，请参阅网页：https://yu-shaonian.github.io/Animate_Anything/。
引用
@article{arxiv.2411.10836,
title = {AnimateAnything: Consistent and Controllable Animation for Video Generation},
author = {Guojun Lei and Chi Wang and Hong Li and Rong Zhang and Yikai Wang and Weiwei Xu},
journal= {arXiv preprint arXiv:2411.10836},
year = {2024}
}