基于骨架的动作识别的关系网络
计算机视觉与模式识别
2019-04-12 v4
摘要
随着高效且低成本的人体骨架捕捉系统的快速发展,基于骨架的动作识别近来备受关注。大多数现有方法使用卷积神经网络(CNN)和循环神经网络(RNN)来提取骨架序列中嵌入的时空信息以进行动作识别。然而,由于将原始骨架数据转换为适应 CNN 或 RNN 输入格式时丢失了重要的结构信息,这些方法在单一骨架的关系建模能力上受限。本文中,我们提出一种注意力循环关系网络-LSTM(ARRN-LSTM),以同时建模骨架中的空间构型与时间动态来进行动作识别。我们引入循环关系网络来学习单一骨架中的空间特征,随后通过多层 LSTM 学习骨架序列中的时间特征。在两个模块之间,我们设计了一个自适应注意力模块,以聚焦于单一骨架中最具判别性的部分。为利用骨架中不同几何结构的互补性以进行充分的关系建模,我们设计了一种双流架构,同时学习关节与连线之间的结构特征。在多个流行骨架数据集上进行了大量实验,结果表明所提方法取得了优于多数主流方法的性能。
引用
@article{arxiv.1805.02556,
title = {Relational Network for Skeleton-Based Action Recognition},
author = {Wu Zheng and Lin Li and Zhaoxiang Zhang and Yan Huang and Liang Wang},
journal= {arXiv preprint arXiv:1805.02556},
year = {2019}
}
备注
Accepted by International Conference on Multimedia and Expo(ICME) 2019 as Oral