基于骨架的人体动作识别：全局上下文感知注意力 LSTM 网络
计算机视觉与模式识别
2018-02-14 v5
摘要
3D 骨架序列中的人体动作识别已吸引大量研究关注。近来，长短期记忆（LSTM）网络由于其在建模序列数据中的依赖关系和动态性方面的优势，在该任务中展现出有前景的性能。由于并非所有骨骼关节都对动作识别有信息量，且无关关节常带来噪声从而降低性能，我们需要更多地关注有信息的关节。然而，原始 LSTM 网络不具备显式注意力能力。在本文中，我们提出一类新的 LSTM 网络，全局上下文感知注意力 LSTM（GCA-LSTM），用于基于骨架的动作识别。该网络能够通过使用全局上下文记忆单元，选择性地聚焦于每个骨架序列每帧中有信息的关节。为了进一步提升网络的注意力能力，我们还引入了循环注意力机制，借此网络的注意力性能可逐步增强。此外，我们提出了一种逐步训练方案以有效训练我们的网络。我们的方法在五个具有挑战性的基于骨架的动作识别基准数据集上达到了最先进的性能。
引用
@article{arxiv.1707.05740,
title = {Skeleton-Based Human Action Recognition with Global Context-Aware Attention LSTM Networks},
author = {Jun Liu and Gang Wang and Ling-Yu Duan and Kamila Abdiyeva and Alex C. Kot},
journal= {arXiv preprint arXiv:1707.05740},
year = {2018}
}