基于Transformer VAE的动作条件三维人体运动合成
计算机视觉与模式识别
2021-09-21 v2
摘要
我们解决动作条件下的真实且多样人体运动序列生成问题。与补全或扩展运动序列的方法不同，该任务不需要初始姿态或序列。此处我们通过训练生成式变分自编码器（VAE）来学习人体运动的动作感知潜在表示。通过从该潜在空间采样并借助一系列位置编码查询特定时长，我们合成以类别动作作为条件的变长度运动序列。具体而言，我们设计了一种基于 Transformer 的架构 ACTOR，用于编码和解码从动作识别数据集估计的参数化 SMPL 人体模型序列。我们在 NTU RGB+D、HumanAct12 和 UESTC 数据集上评估了我们的方法，并展示了相较最先进方法的改进。此外，我们给出了两个用例：通过将我们合成的数据加入训练以改进动作识别，以及运动去噪。代码与模型已发布于我们的项目页面。
引用
@article{arxiv.2104.05670,
title = {Action-Conditioned 3D Human Motion Synthesis with Transformer VAE},
author = {Mathis Petrovich and Michael J. Black and Gül Varol},
journal= {arXiv preprint arXiv:2104.05670},
year = {2021}
}
备注
ICCV 2021 Camera ready, 14 pages, 7 figures