通过学习局部结构表示与时间依赖关系进行人体运动预测
计算机视觉与模式识别
2019-05-09 v2
摘要
基于动作捕捉数据的人体运动预测是计算机视觉中的经典问题，传统方法以整体人体作为输入。这些方法忽略了在各种人类活动中，不同身体部件（肢体与躯干）在运动模式上具有不同特征这一事实。本文中，我们认为应分别学习不同身体部件的局部表示，并基于该思想提出了一个用于长期人体运动预测的网络——骨架网络（SkelNet）。具体而言，在每个时间步，通过 SkelNet 的部件特定层分支获取输入（人体）的局部结构表示，然后共享层利用局部空间表示预测未来人体姿态。我们的 SkelNet 首个将局部结构表示用于人体运动预测。接着，针对短期人体运动预测，我们提出第二个网络，称为骨架时间网络（Skel-TNet）。Skel-TNet 由三部分组成：SkelNet 与一个循环神经网络，它们分别擅长学习用于预测人体运动的空间与时间依赖关系；一个输出最终估计的前馈网络。我们的方法在 Human3.6M 数据集与 CMU 动作捕捉数据集上取得了有前景的结果。
引用
@article{arxiv.1902.07367,
title = {Human Motion Prediction via Learning Local Structure Representations and Temporal Dependencies},
author = {Xiao Guo and Jongmoo Choi},
journal= {arXiv preprint arXiv:1902.07367},
year = {2019}
}
备注
Accepted by AAAI19; Updated with the open source link