用于动作识别的分层图卷积骨架Transformer
计算机视觉与模式识别
2022-01-11 v4 人工智能
摘要
图卷积网络（GCNs）已成为基于骨架的动作识别的主流方法。然而，它们仍受两个问题困扰，即邻域约束与纠缠的时空特征表示。多数研究聚焦于改进图拓扑设计以解决第一个问题，却尚未充分探索后者。本工作中，我们设计了一个解纠缠时空Transformer（DSTT）模块，通过三步克服GCN的上述局限：（i）用于时空分解的特征解纠缠；（ii）用于捕获全局上下文相关性的全局时空注意力；（iii）用于利用更多局部信息的局部信息增强。基于此，我们提出一种新颖架构，称为分层图卷积骨架Transformer（HGCT），以发挥GCN（即局部拓扑、时间动态性与层次性）与Transformer（即全局上下文与动态注意力）的互补优势。HGCT轻量且计算高效。定量分析证明了HGCT的优越性与良好可解释性。
引用
@article{arxiv.2109.02860,
title = {Hierarchical Graph Convolutional Skeleton Transformer for Action Recognition},
author = {Ruwen Bai and Min Li and Bo Meng and Fengfa Li and Miao Jiang and Junxing Ren and Degang Sun},
journal= {arXiv preprint arXiv:2109.02860},
year = {2022}
}
备注
7 pages, 3 figures