TEMOS：从文本描述生成多样化人体运动
计算机视觉与模式识别
2022-07-25 v2 计算与语言
摘要
我们研究从文本描述生成多样化三维人体运动的问题。这一具有挑战性的任务需要对两种模态进行联合建模：从文本中理解并提取有用的人体中心信息，进而生成合理且逼真的姿态序列。与大多数先前聚焦于从文本描述生成单一确定性运动的工作不同，我们设计了一种能够生成多种多样化人体运动的变分方法。我们提出TEMOS，一种以文本为条件的生成模型，利用变分自编码器(VAE)结合人体运动数据进行训练，并配合一个产生与VAE潜空间兼容的分布参数的文本编码器。我们展示了TEMOS框架既能像先前工作那样生成基于骨架的动画，也能生成更具表现力的SMPL身体运动。我们在KIT Motion-Language基准上评估了我们的方法，尽管相对简单，仍展示出相对于当前最优(state of the art)方法的显著改进。代码与模型已发布于我们的网页。
引用
@article{arxiv.2204.14109,
title = {TEMOS: Generating diverse human motions from textual descriptions},
author = {Mathis Petrovich and Michael J. Black and Gül Varol},
journal= {arXiv preprint arXiv:2204.14109},
year = {2022}
}
备注
ECCV 2022 Camera ready