LSTA-Net:用于基于骨架的动作识别的长短期时空聚合网络
计算机视觉与模式识别
2021-11-02 v1
摘要
对多种时空依赖关系进行建模是识别骨架序列中人体动作的关键。现有大多数方法过度依赖遍历规则或图拓扑的设计来刻画动态关节的依赖关系,不足以反映遥远却重要的关节之间的关系。此外,由于采用局部操作,现有工作未能很好地挖掘重要的长程时间信息。为解决此问题,本文提出 LSTA-Net:一种新颖的长短期时空聚合网络(Long short-term Spatio-Temporal Aggregation Network),能够有效以时空方式捕获长程与短程依赖。我们将模型设计为纯分解架构,可交替执行空间特征聚合与时间特征聚合。为提升特征聚合效果,还设计并采用了通道注意力机制。在三个公开基准数据集上进行了大量实验,结果表明我们的方法能够捕获空间与时间域中的长程和短程依赖,取得了优于其他 SOTA 方法的结果。代码见 https://github.com/tailin1009/LSTA-Net。
引用
@article{arxiv.2111.00823,
title = {LSTA-Net: Long short-term Spatio-Temporal Aggregation Network for Skeleton-based Action Recognition},
author = {Tailin Chen and Shidong Wang and Desen Zhou and Yu Guan},
journal= {arXiv preprint arXiv:2111.00823},
year = {2021}
}
备注
Accepted by BMVC 2021