具有可控关键姿态约束的音乐驱动舞蹈动作再生
计算机视觉与模式识别
2022-07-11 v1 多媒体
摘要
在本文中，我们提出一种新颖的框架，用于具有可控关键姿态约束的音乐驱动舞蹈动作合成。与仅基于音乐而无任何其他可控条件生成舞蹈动作序列的方法不同，本工作旨在合成由音乐及用户定制的姿态所驱动的高质量舞蹈动作。我们的模型包含用于音乐与动作表征的两个单模态 transformer 编码器，以及一个用于舞蹈动作生成的跨模态 transformer 解码器。该跨模态 transformer 解码器通过引入局部邻域位置嵌入，实现了合成平滑舞蹈动作序列的能力，并与对应位置的关键姿态保持一致。此种机制使解码器对关键姿态及对应位置更为敏感。我们的舞蹈合成模型在大量实验的定量与定性评估上均取得令人满意的性能，证明了所提方法的有效性。
引用
@article{arxiv.2207.03682,
title = {Music-driven Dance Regeneration with Controllable Key Pose Constraints},
author = {Junfu Pu and Ying Shan},
journal= {arXiv preprint arXiv:2207.03682},
year = {2022}
}