ChoreoNet：面向基于编舞动作单元的音乐到舞蹈合成
计算机视觉与模式识别
2020-09-17 v1 多媒体
摘要
舞蹈与音乐是两种高度相关的艺术形式。近年来，舞蹈动作合成引起了广泛关注。以往大多数工作通过直接将音乐映射到人体骨架关键点来进行音乐到舞蹈的合成。与此同时，人类编舞师以两阶段方式从音乐设计舞蹈动作：他们首先设计多个编舞舞蹈单元（CAU），每个单元包含一系列舞蹈动作，然后根据音乐的节奏、旋律与情感安排 CAU 序列。受此启发，我们系统地研究了这种两阶段编舞方法，并构建了一个数据集以融入此类编舞知识。基于所构建的数据集，我们设计了一个两阶段音乐到舞蹈合成框架 ChoreoNet 来模仿人类编舞过程。我们的框架首先设计了一个 CAU 预测模型来学习音乐与 CAU 序列之间的映射关系。随后，我们设计了一个时空补全模型将 CAU 序列转换为连续的舞蹈动作。实验结果表明，所提出的 ChoreoNet 优于基线方法（CAU BLEU 得分为 0.622，用户研究得分为 1.59）。
引用
@article{arxiv.2009.07637,
title = {ChoreoNet: Towards Music to Dance Synthesis with Choreographic Action Unit},
author = {Zijie Ye and Haozhe Wu and Jia Jia and Yaohua Bu and Wei Chen and Fanbo Meng and Yanfeng Wang},
journal= {arXiv preprint arXiv:2009.07637},
year = {2020}
}
备注
10 pages, 5 figures, Accepted by ACM MM 2020