EnchantDance：揭示音乐驱动舞蹈动作的潜力
声音
2024-11-12 v2 图形学
音频与语音处理
摘要
音乐驱动舞蹈生成任务旨在创建与给定音乐相对应的连贯舞蹈动作。虽然现有方法能够产生物理上合理的舞蹈，但它们往往难以泛化到集合外数据。这一挑战源于三个方面：1) 舞蹈动作的高度多样性以及音乐模态分布的显著差异，使得生成与音乐对齐的舞蹈动作变得困难；2) 缺乏大规模音乐 - 舞蹈数据集，阻碍了从音乐生成泛化舞蹈动作；3) 舞蹈动作的 prolonged 性质对维持一致的舞蹈风格构成了挑战。在本工作中，我们引入了 EnchantDance 框架，这是一种最先进的舞蹈生成方法。鉴于原始舞蹈序列沿时间轴存在冗余，EnchantDance 首先构建一个强大的舞蹈潜在空间，然后在该潜在空间上训练舞蹈扩散模型。为解决数据缺口，我们构建了大规模音乐 - 舞蹈数据集 ChoreoSpectrum3D Dataset，该数据集包含四种舞蹈流派，总时长为 70.32 小时，是迄今为止报道的最大音乐 - 舞蹈数据集。为增强音乐流派与舞蹈风格之间的一致性，我们利用迁移学习预训练了一个音乐流派预测网络，并将音乐流派作为额外条件信息纳入舞蹈扩散模型的训练中。大量实验表明，我们提出的框架在舞蹈质量、多样性和一致性方面达到了最先进的性能。
引用
@article{arxiv.2312.15946,
title = {EnchantDance: Unveiling the Potential of Music-Driven Dance Movement},
author = {Bo Han and Teng Zhang and Zeyu Ling and Yi Ren and Xiang Yin and Feilin Han},
journal= {arXiv preprint arXiv:2312.15946},
year = {2024}
}
备注
Project Page: https://fluide1022.github.io/EnchantDance/