DanceFormer：基于参数化运动 Transformer 的音乐条件三维舞蹈生成
人工智能
2023-07-28 v5 计算机视觉与模式识别
摘要
从音乐生成三维舞蹈是一项新兴的研究任务，惠及视觉与图形学中的诸多应用。先前工作将该任务视为序列生成，然而要渲染与音乐对齐、具有高运动复杂度和连贯动作的长时序序列颇具挑战。本文将其重构为两阶段过程，即关键姿态生成与随后的参数化运动曲线预测，其中关键姿态更易与音乐节拍同步，而参数化曲线可被高效回归以渲染流畅且节奏对齐的动作。我们将所提方法命名为 DanceFormer，其包含两个级联的运动学增强 Transformer 引导网络（称为 DanTrans），分别处理各阶段。此外，我们提出一个大规模音乐条件三维舞蹈数据集 PhantomDance，由经验丰富的动画师精确标注而非重建或动作捕捉。该数据集除姿态序列外还将舞蹈编码为关键姿态与参数化运动曲线，从而有益于我们 DanceFormer 的训练。大量实验表明，所提方法即便使用现有数据集训练，也能生成流畅、具表现力且与音乐匹配的的三维舞蹈，在定量与定性上均超越先前工作。而且，所提 DanceFormer 与 PhantomDance 数据集（https://github.com/libuyu/PhantomDanceDataset）可与工业动画软件无缝兼容，从而便利了面向各类下游应用的适配。
引用
@article{arxiv.2103.10206,
title = {DanceFormer: Music Conditioned 3D Dance Generation with Parametric Motion Transformer},
author = {Buyu Li and Yongchi Zhao and Zhelun Shi and Lu Sheng},
journal= {arXiv preprint arXiv:2103.10206},
year = {2023}
}
备注
This is the version accepted by AAAI-22