动物如何跳舞（当你没看见时）

我们提出了一个用于生成音乐同步、编排感知的动物舞蹈视频的框架。我们的框架引入了编排模式——定义舞蹈长程结构的运动节拍结构化序列——作为舞蹈视频生成的一种新颖高层控制信号。这些模式可以从人类舞蹈视频中自动估计。从通过文本到图像提示或 GPT-4o 生成的代表不同动物姿态的少数关键帧开始，我们将舞蹈合成形式化为一个图优化问题，旨在寻找最优关键帧结构以满足指定的节拍编排模式。我们还引入了一种镜像姿态图像生成方法，这对于捕捉舞蹈中的对称性至关重要。中间帧使用视频扩散模型进行合成。仅需六个输入关键帧，我们的方法即可生成长达 30 秒的舞蹈视频，适用于多种动物和音乐曲目。