用于随机人体运动预测的动作驱动弱监督动作过渡学习
计算机视觉与模式识别
2022-06-01 v1 人工智能
摘要
我们引入了动作驱动的随机人体运动预测任务，旨在给定一段动作标签序列和简短运动历史的情况下，预测多个合理的未来运动。这与现有工作不同，现有工作预测的运动要么不遵循任何特定动作类别，要么仅遵循单一动作标签。具体而言，解决该任务需应对两个挑战：不同动作之间的过渡必须平滑；预测运动的长度取决于动作序列且在样本间差异显著。由于我们无法现实地期望训练数据覆盖足够多样的动作过渡和运动长度，我们提出了一种有效的训练策略，包括组合来自不同动作的多段运动，并引入弱形式监督以鼓励平滑过渡。随后我们设计了一个基于 VAE 的模型，以观测运动和动作标签序列为条件，从而生成多个不同长度的合理未来运动。我们通过将该方法与两种不同时间编码模型（即 RNN 和 Transformer）结合使用，阐明了其通用性。我们的方法优于通过改编最先进的单动作条件运动生成方法与随机人体运动预测方法至我们这一新的动作驱动随机运动预测任务所构建的基线模型。我们的代码可在 https://github.com/wei-mao-2019/WAT 获取。
引用
@article{arxiv.2205.15608,
title = {Weakly-supervised Action Transition Learning for Stochastic Human Motion Prediction},
author = {Wei Mao and Miaomiao Liu and Mathieu Salzmann},
journal= {arXiv preprint arXiv:2205.15608},
year = {2022}
}
备注
CVPR2022 (Oral)