基于生成式自回归网络的音乐驱动三维舞蹈动作合成
机器学习
2019-11-12 v1 机器人学
音频与语音处理
机器学习
摘要
本文提出一个能为给定音乐生成三维人体舞蹈姿态序列的框架。所提框架由三部分组成：音乐特征编码器、姿态生成器和音乐流派分类器。我们着重于整合这些组件，从音乐生成逼真的三维人体舞蹈动作，可应用于人工智能体和人形机器人。训练后的舞蹈姿态生成器是一个生成式自回归模型，能够合成长度超过 5000 个姿态帧的舞蹈序列。基于多首歌曲生成舞蹈序列的实验结果展示了所提方法如何生成类人的音乐舞蹈动作。此外，生成的三维舞蹈序列被应用于一台人形机器人，表明所提框架可使机器人仅通过听音乐便能跳舞。
引用
@article{arxiv.1911.04069,
title = {Generative Autoregressive Networks for 3D Dancing Move Synthesis from Music},
author = {Hyemin Ahn and Jaehun Kim and Kihyun Kim and Songhwai Oh},
journal= {arXiv preprint arXiv:1911.04069},
year = {2019}
}
备注
8 pages, 10 figures