EDGE：基于音乐的可编辑舞蹈生成
声音
2022-11-29 v2 计算机视觉与模式识别
图形学
音频与语音处理
摘要
舞蹈是一种重要的人类艺术形式，但创作新舞蹈可能困难且耗时。本工作中，我们提出可编辑舞蹈生成（EDGE），一种最先进的可编辑舞蹈生成方法，能够创建逼真、物理上合理的舞蹈，同时保持对输入音乐的忠实。EDGE采用基于Transformer的扩散模型，并搭配强大的音乐特征提取器Jukebox，提供了非常适合舞蹈的强大编辑能力，包括关节级条件控制与中间补帧。我们引入了一种用于物理合理性的新度量，并通过（1）关于物理合理性、节拍对齐与多样性基准的多个定量度量，以及更重要的（2）大规模用户研究，广泛评估了我们的方法所生成的舞蹈质量，展示出相较先前最先进方法的显著改进。我们模型的定性样本可在我们的网站上找到。
引用
@article{arxiv.2211.10658,
title = {EDGE: Editable Dance Generation From Music},
author = {Jonathan Tseng and Rodrigo Castellon and C. Karen Liu},
journal= {arXiv preprint arXiv:2211.10658},
year = {2022}
}
备注
Project website: https://edge-dance.github.io