鲁棒舞者：基于非配对数据的长期3D舞蹈合成
计算机视觉与模式识别
2023-03-30 v1 图形学
摘要
如何基于一段音乐自动合成自然观感的舞蹈动作是一个日益流行却具挑战的任务。多数现有数据驱动方法需要难以获取的配对训练数据，且因自回归结构的误差累积而无法生成长序列动作。我们提出一种新颖的3D舞蹈合成系统，仅需非配对数据训练，且可同时生成逼真的长期动作。针对非配对数据训练，我们探索节拍与风格的解耦，并提出一种不依赖配对数据的基于Transformer的模型。针对长期动作合成，我们设计了一种新的长历史注意力策略。该策略首先通过注意力计算查询长历史嵌入，随后经由多模态适配门（MAG）将该嵌入显式融合进生成流水线。客观与主观评估表明，尽管无需配对训练数据，我们的结果可与强基线方法媲美，且在推断长期音乐时表现鲁棒。据我们所知，我们首次实现了非配对数据训练——这一能力可有效缓解数据局限。我们的代码发布于https://github.com/BFeng14/RobustDancer
引用
@article{arxiv.2303.16856,
title = {Robust Dancer: Long-term 3D Dance Synthesis Using Unpaired Data},
author = {Bin Feng and Tenglong Ao and Zequn Liu and Wei Ju and Libin Liu and Ming Zhang},
journal= {arXiv preprint arXiv:2303.16856},
year = {2023}
}
备注
Preliminary video demo: https://youtu.be/gJbxG9QlcUU