中文

Lodge:由特征舞蹈基元引导的、用于长舞蹈生成的由粗到细扩散网络

计算机视觉与模式识别 2024-04-23 v3 图形学 声音 音频与语音处理

摘要

我们提出了 Lodge,这是一种能够以给定音乐为条件生成极长舞蹈序列的网络。我们将 Lodge 设计为两阶段的由粗到细扩散架构,并提出了具有显著表达能力的特征舞蹈基元,作为两个扩散模型之间的中间表示。第一阶段为全局扩散,侧重于理解粗粒度的音乐-舞蹈关联并生成特征舞蹈基元。相比之下,第二阶段为局部扩散,在舞蹈基元和编排规则的指导下并行生成详细的动作序列。此外,我们提出了一个足部优化块来优化足部与地面之间的接触,增强动作的物理真实感。我们的方法能够并行生成极长的舞蹈序列,在全局编排模式与局部动作质量及表达能力之间取得平衡。大量实验验证了我们方法的有效性。

关键词

引用

@article{arxiv.2403.10518,
  title  = {Lodge: A Coarse to Fine Diffusion Network for Long Dance Generation Guided by the Characteristic Dance Primitives},
  author = {Ronghui Li and YuXiang Zhang and Yachao Zhang and Hongwen Zhang and Jie Guo and Yan Zhang and Yebin Liu and Xiu Li},
  journal= {arXiv preprint arXiv:2403.10518},
  year   = {2024}
}

备注

Accepted by CVPR2024, Project page: https://li-ronghui.github.io/lodge