一种用于基于骨架动作识别的注意力增强图卷积 LSTM 网络
计算机视觉与模式识别
2019-04-01 v2
摘要
基于骨架的动作识别是一项重要任务，需要从给定的骨架序列中充分理解人体动作的运动特征。近期研究表明，挖掘骨架序列的空间与时间特征对该任务至关重要。然而，如何有效提取具有判别性的空间与时间特征仍是一个挑战。本文提出一种新颖的注意力增强图卷积 LSTM 网络（AGC-LSTM），用于从骨架数据中进行人体动作识别。所提出的 AGC-LSTM 不仅能捕获空间构型与时间动态中的判别性特征，还能探索空间域与时间域之间的共现关系。我们还提出了一种时间分层架构，以增大顶层 AGC-LSTM 的时间感受野，从而提升学习高层语义表示的能力并显著降低计算成本。此外，为筛选判别性空间信息，采用注意力机制增强各 AGC-LSTM 层中关键关节的信息。在两个数据集上给出了实验结果：NTU RGB+D 数据集与 Northwestern-UCLA 数据集。对比结果证明了我们方法的有效性，并表明我们的方法在两个数据集上均优于当前最优（SOTA）方法。
引用
@article{arxiv.1902.09130,
title = {An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition},
author = {Chenyang Si and Wentao Chen and Wei Wang and Liang Wang and Tieniu Tan},
journal= {arXiv preprint arXiv:1902.09130},
year = {2019}
}
备注
Accepted by CVPR2019