用于基于骨架的动作识别的记忆注意力网络
计算机视觉与模式识别
2018-05-04 v2
摘要
基于骨架的动作识别任务与骨架关节复杂的时空变化纠缠在一起,对循环神经网络(RNNs)而言仍具挑战性。在这项工作中,我们提出一种先时序后空间的重标定方案来缓解此类复杂变化,从而得到一个端到端的记忆注意力网络(MANs),其由时序注意力重标定模块(TARM)和时空卷积模块(STCM)组成。具体而言,TARM 部署在残差学习模块中,采用一种新颖的注意力学习网络来重标定骨架序列中帧的时序注意力。STCM 将注意力重标定后的骨架关节序列视为图像,并利用卷积神经网络(CNNs)进一步建模骨架数据的空间与时间信息。这两个模块(TARM 和 STCM)无缝构成一个单一网络架构,可以端到端方式训练。MANs 显著提升了基于骨架的动作识别性能,并在四个具有挑战性的基准数据集上取得最佳结果:NTU RGB+D、HDM05、SYSU-3D 和 UT-Kinect。
引用
@article{arxiv.1804.08254,
title = {Memory Attention Networks for Skeleton-based Action Recognition},
author = {Chunyu Xie and Ce Li and Baochang Zhang and Chen Chen and Jungong Han and Changqing Zou and Jianzhuang Liu},
journal= {arXiv preprint arXiv:1804.08254},
year = {2018}
}
备注
Accepted by IJCAI 2018