面向可控人体运动预测的解耦表示学习
计算机视觉与模式识别
2022-07-05 v1
摘要
基于生成模型的运动预测技术近来已实现受控人体运动的预测，例如预测具有相似下半身运动的多种上半身人体运动。然而，为此，最先进的方法要么需要随后学习映射函数以寻找相似运动，要么需要重复训练模型以实现对期望身体部位的控制。本文提出一种新颖框架，用于学习解耦表示以实现可控人体运动预测。我们的网络采用条件变分自编码器（CVAE）架构来建模全身人体运动，并增设一条额外的 CVAE 路径仅学习相应的部分身体（如下半身）运动。具体而言，额外 CVAE 路径所施加的归纳偏置促使两条路径中的两个潜变量分别掌控各局部身体运动的独立表示。通过单次训练，我们的模型能够为由生成的人体运动提供两类控制：（i）严格控身体某一部位以及（ii）通过从一对潜空间采样自适应控制另一部位。此外，我们将一种采样策略扩展并适配至训练模型，以丰富可控预测的多样性。我们的框架还可通过灵活定制额外 CVAE 路径的输入，潜在支持新形式的控制。大量实验结果和消融研究证明，我们的方法在定性与定量上均能预测出最先进的可控人体运动。
引用
@article{arxiv.2207.01388,
title = {Learning Disentangled Representations for Controllable Human Motion Prediction},
author = {Chunzhi Gu and Jun Yu and Chao Zhang},
journal= {arXiv preprint arXiv:2207.01388},
year = {2022}
}