TrajectoryNet：一种用于人体运动预测的时空特征学习新网络
计算机视觉与模式识别
2020-03-23 v2
摘要
人体运动预测是计算机视觉与机器人领域中日益受关注的课题。本文提出一种基于 2D CNN 的新网络 TrajectoryNet，用于在轨迹空间预测未来姿态。与多数现有方法相比，我们的模型侧重于对先前姿态序列的耦合时空特征、局部-全局空间特征与全局时间共现特征进行运动动力学建模。具体而言，耦合时空特征描述了隐藏于自然人体运动序列中的空间与时间结构信息，可通过卷积滤波器覆盖输入姿态序列的时空维度来挖掘。局部-全局空间特征编码了人体不同关节间的不同相关性（如同一肢体的关节间强相关、不同肢体的关节间弱相关），通过在我们提出的卷积网络中逐层扩大感受野以及从浅层到深层的残差连接分层捕获。全局时间共现特征表示复杂运动序列中不同子序列同时出现的共现关系，可通过所提 TrajectoryNet 将时间信息重组为输入张量的深度维而自动获得。最后，基于所捕获的运动动力学特征近似得到未来姿态。大量实验表明，我们的方法在三个具挑战性的基准（如 Human3.6M、G3D 与 FNTU）上达到 SOTA 性能，证明了所提方法的有效性。代码将在论文被接收后公开。
引用
@article{arxiv.1910.06583,
title = {TrajectoryNet: a new spatio-temporal feature learning network for human motion prediction},
author = {Xiaoli Liu and Jianqin Yin and Jin Liu and Pengxiang Ding and Jun Liu and Huaping Liu},
journal= {arXiv preprint arXiv:1910.06583},
year = {2020}
}