Bailando:基于带编舞记忆的 Actor-Critic GPT 的三维舞蹈生成
声音
2022-03-28 v2 计算机视觉与模式识别
音频与语音处理
摘要
驱动三维角色跟随音乐起舞极具挑战性,原因在于编舞规范对姿态施加了空间约束。此外,生成的舞蹈序列还需与不同音乐类型保持时间连贯性。为应对这些挑战,我们提出一种新颖的音乐到舞蹈框架 Bailando,其包含两个强大组件:1) 编舞记忆,从三维姿态序列中学习将有意义舞蹈单元总结为量化码本;2) actor-critic 生成式预训练 Transformer (GPT),将这些单元组合为与音乐连贯的流畅舞蹈。借助习得的编舞记忆,舞蹈生成在满足高编舞标准的量化单元上实现,从而使生成的舞蹈序列受限于空间约束之内。为实现多样运动节奏与音乐节拍的同步对齐,我们向 GPT 引入基于 actor-critic 的强化学习方案,并新设计了节拍对齐奖励函数。在标准基准上的大量实验表明,我们所提框架在定性与定量上均达到最先进(state-of-the-art)性能。值得注意的是,习得的编舞记忆能以无监督方式发现人类可解释的舞蹈风格姿态。
引用
@article{arxiv.2203.13055,
title = {Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory},
author = {Li Siyao and Weijiang Yu and Tianpei Gu and Chunze Lin and Quan Wang and Chen Qian and Chen Change Loy and Ziwei Liu},
journal= {arXiv preprint arXiv:2203.13055},
year = {2022}
}
备注
Accepted by CVPR 2022. Code and video link: https://github.com/lisiyao21/Bailando/