用于联合活动识别与运动预测的非局部图卷积网络
计算机视觉与模式识别
2021-08-04 v1 机器学习
机器人学
摘要
基于3D骨架的运动预测和活动识别是人体行为分析中两个相互交织的任务。在这项工作中，我们提出了一种运动上下文建模方法，该方法提供了一种结合图卷积神经网络和循环神经网络优势的新途径，用于联合人体运动预测和活动识别。我们的方法基于使用LSTM编码器-解码器和非局部特征提取注意力机制来建模人体骨架数据的空间相关性以及运动帧之间的时间相关性。所提出的网络可以轻松包含两个输出分支，一个用于活动识别，一个用于未来运动预测，这两个分支可以联合训练以获得增强的性能。在Human 3.6M、CMU Mocap和NTU RGB-D数据集上的实验结果表明，我们提出的方法在基于LSTM的基线方法中提供了最佳的预测能力，同时取得了与其他最先进方法相当的性能。
引用
@article{arxiv.2108.01518,
title = {Non-local Graph Convolutional Network for joint Activity Recognition and Motion Prediction},
author = {Dianhao Zhang and Ngo Anh Vien and Mien Van and Sean McLoone},
journal= {arXiv preprint arXiv:2108.01518},
year = {2021}
}
备注
Accepted to IROS 2021