用于基于骨架的动作识别的耦合时空注意力学习
计算机视觉与模式识别
2019-09-24 v1
摘要
在本文中，我们提出了一种用于基于骨架的动作识别的耦合时空注意力（CSTA）模型，旨在同时找出空间和时间域中最具判别力的关节和帧。传统方法通常将骨架序列中的所有关节或帧视为同等重要，这对模糊和冗余信息缺乏鲁棒性。为此，我们首先通过两个子网络分别学习两组针对不同关节和帧的权重，使模型具备“关注”相对信息丰富部分的能力。然后，我们基于关节和帧的权重计算叉积以得到耦合时空注意力。此外，我们的CSTA机制可以轻松插入现有的分层CNN模型（CSTA-CNN）中实现其功能。在最近收集的UESTC数据集和当前最大的NTU数据集上的大量实验结果证明了我们提出的方法在基于骨架的动作识别上的有效性。
引用
@article{arxiv.1909.10214,
title = {Learning Coupled Spatial-temporal Attention for Skeleton-based Action Recognition},
author = {Jiayun Wang},
journal= {arXiv preprint arXiv:1909.10214},
year = {2019}
}