步履大地：通过生成式掩码运动先验实现高保真度与可编辑的舞蹈合成
图形学
2025-12-03 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
近期的舞蹈生成技术已实现3D舞蹈运动的自动合成。然而，现有方法仍面临在同时实现高保真度、精确舞蹈-音乐同步、多样化运动表达和物理可信度方面的显著挑战。为此，我们提出了一种新方法，利用生成式掩码文本到运动模型作为分布先验，学习从多样化指导信号（包括音乐、类型和姿态）到高质量舞蹈运动序列的概率映射。我们的框架支持语义运动编辑，如运动填充和身体部件修改。具体而言，我们引入了多塔掩码运动模型，将文本条件掩码运动主干与两个平行、模态特定的支塔集成：音乐指导塔和姿态指导塔。该模型采用同步和渐进式掩码训练，使用预训练的文本到运动先验，同时允许每个指导支塔通过各自的损失函数独立优化，减轻梯度干扰。在推理阶段，我们引入了无分类器logits引导和姿态引导的token优化，以强化音乐、类型和姿态信号的影响。广泛的实验表明，我们的方法在舞蹈生成方面达到了新的研究前沿，显著提升了现有方法在质量和可编辑性方面的表现。项目页面可访问 https://foram-s1.github.io/DanceMosaic/
引用
@article{arxiv.2504.04634,
title = {Walk Before You Dance: High-fidelity and Editable Dance Synthesis via Generative Masked Motion Prior},
author = {Foram N Shah and Parshwa Shah and Muhammad Usama Saleem and Ekkasit Pinyoanuntapong and Pu Wang and Hongfei Xue and Ahmed Helmy},
journal= {arXiv preprint arXiv:2504.04634},
year = {2025}
}