随乐起舞:基于分析-合成的舞蹈生成
计算机视觉与模式识别
2019-11-06 v1
摘要
随音乐起舞是人类的一种本能动作。然而,学习对音乐到舞蹈的生成过程建模是一个具有挑战性的问题。它需要付出大量努力来衡量音乐与舞蹈之间的相关性,因为人们必须同时考虑多个方面,例如音乐和舞蹈的风格与节拍。此外,舞蹈本质上是多模态的,在任一时刻一个姿态的各种后续动作都是等可能的。在本文中,我们提出一种分析-合成学习框架来从音乐生成舞蹈。在分析阶段,我们将舞蹈分解为一系列基本舞蹈单元,模型通过这些单元学习如何运动。在合成阶段,模型学习如何根据输入音乐无缝地组织多个基本舞蹈动作来编排一支舞蹈。实验的定性与定量结果表明,所提方法能从音乐合成出逼真、多样、风格一致且节拍匹配的舞蹈。
引用
@article{arxiv.1911.02001,
title = {Dancing to Music},
author = {Hsin-Ying Lee and Xiaodong Yang and Ming-Yu Liu and Ting-Chun Wang and Yu-Ding Lu and Ming-Hsuan Yang and Jan Kautz},
journal= {arXiv preprint arXiv:1911.02001},
year = {2019}
}
备注
NeurIPS 2019; Project page: https://github.com/NVlabs/Dancing2Music