基于关键帧与Transformer控制器的多样化舞蹈合成
计算机视觉与模式识别
2022-07-14 v1
摘要
现有基于关键帧的运动合成主要关注循环动作或短期运动（如行走、奔跑以及相近姿态间的过渡）的生成。然而，这些方法在处理复杂且即兴的运动（例如舞蹈表演和武术）时，合成运动的自然度与多样性会显著下降。此外，当前研究缺乏对生成运动的细粒度控制，而这对于智能人机交互与动画创作至关重要。本文提出一种基于多约束的新型关键帧运动生成网络，可通过学习到的知识实现多样化舞蹈合成。具体而言，该算法主要基于循环神经网络（RNN）与Transformer架构构建。我们网络的主干是由两个长短期记忆（LSTM）单元组成的分层RNN模块，其中第一个LSTM用于将历史帧的姿态信息嵌入潜空间，第二个LSTM用于预测下一帧的人体姿态。此外，我们的框架包含两个基于Transformer的控制器，分别用于建模根轨迹约束与速度因子约束，从而更好地利用帧的时间上下文并实现细粒度运动控制。我们在一个包含广泛当代舞蹈的舞蹈数据集上验证了所提方法。三项定量分析结果验证了算法的优越性。视频与定性实验结果表明，即便对于长期合成，算法生成的复杂运动序列也能在关键帧间实现多样化且平滑的运动过渡。
引用
@article{arxiv.2207.05906,
title = {Diverse Dance Synthesis via Keyframes with Transformer Controllers},
author = {Junjun Pan and Siyuan Wang and Junxuan Bai and Ju Dai},
journal= {arXiv preprint arXiv:2207.05906},
year = {2022}
}