基于音乐基础模型的全身舞蹈生成 DGFM

在音乐驱动的舞蹈运动生成中，大多数现有方法使用手工特征，忽视了音乐基础模型对跨模态内容生成的深远影响。为弥合这一差距，我们提出一种基于扩散的方法，生成以文本和音乐为条件的舞蹈动作。我们的方法通过结合由音乐基础模型获取的高级特征和手工特征，提取音乐特征，从而增强生成舞蹈序列的质量。该方法有效利用了高级语义信息和低级时间细节的优势，提高了模型在音乐特征理解方面的能力。为展示所提方法的优势，我们将其与四个音乐基础模型和两套手工音乐特征进行比较。结果表明，我们的方法获得了最真实实舞蹈序列，实现了与输入音乐的最佳匹配。