用于人体骨架运动预测的时空协同注意力循环神经网络
计算机视觉与模式识别
2019-10-02 v2
摘要
人体运动预测旨在基于已观测到的人体运动生成未来运动。鉴于循环神经网络（RNN）在序列数据建模中的成功，近期工作利用 RNN 对观测运动序列上的人体骨架运动进行建模并预测未来人体运动。然而，这些方法未考虑关节间的空间一致性与骨架间的时间演化，而这反映了人体运动在时空空间中的关键特征。为此，我们提出一种新颖的骨架-关节协同注意力循环神经网络（SC-RNN），在时空空间中的骨架-关节协同注意力特征图上同时捕捉关节间的空间一致性与骨架间的时间演化。首先，构建骨架-关节特征图作为观测运动序列的表示。其次，我们设计一种新的骨架-关节协同注意力（SCA）机制，动态学习该骨架-关节特征图的骨架-关节协同注意力特征图，从而提炼有用的观测运动信息以预测一个未来运动。第三，一种嵌入 SCA 的 GRU 变体将骨架-关节协同注意力特征图作为运动上下文，在时空空间中协同建模人体骨架运动与人体关节运动。人体运动预测上的实验结果表明，所提方法优于相关方法。
引用
@article{arxiv.1909.13245,
title = {Spatiotemporal Co-attention Recurrent Neural Networks for Human-Skeleton Motion Prediction},
author = {Xiangbo Shu and Liyan Zhang and Guo-Jun Qi and Wei Liu and Jinhui Tang},
journal= {arXiv preprint arXiv:1909.13245},
year = {2019}
}