利用 Transformer 学习生成多样化舞蹈动作
计算机视觉与模式识别
2020-08-20 v1 图形学
摘要
随着持续的大流行，使用音乐家数字化表演的虚拟音乐会和现场活动在大型多人在线世界中逐渐兴起。然而，精心编排的舞蹈动作动画极为复杂，且涉及昂贵而繁琐的制作过程。除使用复杂的动作捕捉系统外，通常还需要动画师、舞者和编舞者之间的协作努力。我们引入了一个完整的舞蹈动作合成系统，可在给定输入音乐序列时生成复杂且高度多样化的舞蹈序列。由于动作捕捉数据在舞蹈动作和风格范围上有限，我们引入了一个从 YouTube 视频创建的庞大舞蹈动作数据集。我们还提出了一种新颖的双流动作 Transformer 生成模型，其可高灵活性地生成动作序列。我们还引入了用于合成舞蹈动作质量的新评估指标，并展示我们的系统可超越最先进的方法。我们的系统为虚拟音乐会提供适用于大型人群的高质量动画，也可作为专业动画流程的参考。最重要的是，我们展示了海量在线视频可有效用于训练舞蹈动作模型。
关键词
引用
@article{arxiv.2008.08171,
title = {Learning to Generate Diverse Dance Motions with Transformer},
author = {Jiaman Li and Yihang Yin and Hang Chu and Yi Zhou and Tingwu Wang and Sanja Fidler and Hao Li},
journal= {arXiv preprint arXiv:2008.08171},
year = {2020}
}