将音乐到舞蹈视为使用序列模型的语言翻译
声音
2024-10-18 v2 机器人学
音频与语音处理
摘要
从音乐合成合适的编舞仍然是一个开放问题。我们引入MDLT，一种将编舞生成问题视为翻译任务的新方法。我们的方法利用现有数据集学习将音频序列翻译成相应的舞蹈姿势。我们提出了MDLT的两种变体：一种利用Transformer架构，另一种采用Mamba架构。我们在AIST++和PhantomDance数据集上训练我们的方法，以教机器人手臂跳舞，但我们的方法可以应用于完整的人形机器人。评估指标，包括平均关节误差和Fréchet初始距离，一致表明，当给定一段音乐时，MDLT在生成逼真且高质量的编舞方面表现出色。代码可在github.com/meowatthemoon/MDLT找到。
引用
@article{arxiv.2403.15569,
title = {Music to Dance as Language Translation using Sequence Models},
author = {André Correia and Luís A. Alexandre},
journal= {arXiv preprint arXiv:2403.15569},
year = {2024}
}