舞蹈革命：基于课程学习由音乐生成长期舞蹈序列
计算机视觉与模式识别
2023-09-12 v8 机器学习
声音
音频与语音处理
摘要
随乐起舞是自远古以来人类与生俱来的能力之一。然而在机器学习研究中，由音乐合成舞蹈动作是一个具有挑战性的问题。近来，研究者通过循环神经网络（RNN）等自回归模型合成人体运动序列。这种方法常因预测误差被反馈至神经网络而生成较短序列。该问题在长运动序列生成中更为严重。此外，舞蹈与音乐在风格、节奏和节拍上的一致性尚待建模时加以考虑。在本文中，我们将音乐条件下的舞蹈生成形式化为序列到序列学习问题，并设计了一种新颖的 seq2seq 架构，以高效处理长音乐特征序列并捕捉音乐与舞蹈间的细粒度对应关系。进而，我们提出一种新颖的课程学习策略，以缓解自回归模型在长运动序列生成中的误差累积，该策略将训练过程由使用先前真实动作的全引导教师强制方案，温和地转向主要使用生成动作、较少引导的自回归方案。大量实验表明，我们的方法在自动指标与人类评估上均显著优于现有最优方法。我们还在 https://www.youtube.com/watch?v=lmE20MEheZ8 制作了演示视频以展示所提方法的优越性能。
引用
@article{arxiv.2006.06119,
title = {Dance Revolution: Long-Term Dance Generation with Music via Curriculum Learning},
author = {Ruozi Huang and Huang Hu and Wei Wu and Kei Sawada and Mi Zhang and Daxin Jiang},
journal= {arXiv preprint arXiv:2006.06119},
year = {2023}
}
备注
This paper includes the unrigorous quantitative experimental results and has been withdrawn from the conference