让你的隐变量起舞：基于运动流引导的时空子空间注意力实现一致舞蹈生成
计算机视觉与模式识别
2023-10-24 v1
摘要
生成式人工智能的发展已延伸至人体舞蹈生成领域，展现出优越的生成能力。然而，现有方法在实现时空一致性方面仍存在不足，导致重影、闪烁和不连贯运动等伪影。本文提出 Dance-Your-Latents，一种让隐变量(latents)沿运动流协调起舞以生成一致舞蹈视频的框架。首先，考虑到每个组成元素在受限空间内运动，我们引入时空子空间注意力块，将全局空间分解为若干规则子空间的组合，并在这些子空间内高效建模时空一致性。该模块使每个图像块(patch)关注邻近区域，缓解了长程注意力过度分散的问题。此外，观察到身体部位的运动受姿态控制引导，我们设计了运动流引导的子空间对齐与恢复。该方法使注意力能够沿运动流在不规则子空间上计算。在 TikTok 数据集上的实验结果表明，我们的方法显著增强了生成视频的时空一致性。
引用
@article{arxiv.2310.14780,
title = {Dance Your Latents: Consistent Dance Generation through Spatial-temporal Subspace Attention Guided by Motion Flow},
author = {Haipeng Fang and Zhihao Sun and Ziyao Huang and Fan Tang and Juan Cao and Sheng Tang},
journal= {arXiv preprint arXiv:2310.14780},
year = {2023}
}
备注
10 pages, 5 figures