用于人体运动预测的时间一致性双流CNN
计算机视觉与模式识别
2021-04-13 v1
摘要
融合对于双流网络至关重要。本文提出一种新颖的时间融合（TF）模块，用于融合双流关节信息以预测人体运动，包括时间拼接与强化轨迹时空（TST）块，专门设计用于保持预测的时间一致性。具体而言，时间拼接保持了两流初步预测的时间一致性。同时，TST块改善了时空特征耦合。此外，TF模块能够增强首个预测姿态与给定姿态之间以及各预测姿态之间的时间连续性。该融合基于一个双流网络，由动态速度流（V-Stream）与静态位置流（P-Stream）组成，因为我们发现关节速度信息改善了短期预测，而关节位置信息更擅长长期预测，且二者在运动预测中互补。最终，我们的方法在H3.6M、CMU-Mocap与3DPW三个基准数据集的短期与长期预测上均取得了令人印象深刻的结果，证实了其有效性与高效性。
引用
@article{arxiv.2104.05015,
title = {Temporal Consistency Two-Stream CNN for Human Motion Prediction},
author = {Jin Tang and Jin Zhang and Jianqin Yin},
journal= {arXiv preprint arXiv:2104.05015},
year = {2021}
}