利用时空依赖性进行基于骨架的动作识别
计算机视觉与模式识别
2023-07-20 v2
摘要
基于骨架的动作识别因其对人体骨骼结构的紧凑表示而受到相当关注。许多近期方法使用图卷积网络（GCNs）和卷积神经网络（CNNs）分别提取空间与时间特征，取得了卓越性能。尽管人体骨架中的空间与时间依赖性已被分别探索，时空依赖性却很少被考虑。本文中，我们提出时空曲线网络（STC-Net）以有效利用人体骨架的时空依赖性。我们提出的网络包含两个新颖组件：1）时空曲线（STC）模块；2）用于图卷积的膨胀核（DK-GC）。STC 模块通过识别每相邻帧间有意义的节点连接并基于所识别的节点连接生成时空曲线，动态调节感受野，提供自适应的时空覆盖。此外，我们提出 DK-GC 以考虑长程依赖性，其通过对给定图邻接矩阵应用扩展核，在无需任何额外参数的情况下获得大感受野。我们的 STC-Net 结合这两个模块，在四个基于骨架的动作识别基准上取得了最先进的性能。
引用
@article{arxiv.2212.04761,
title = {Leveraging Spatio-Temporal Dependency for Skeleton-Based Action Recognition},
author = {Jungho Lee and Minhyeok Lee and Suhwan Cho and Sungmin Woo and Sungjun Jang and Sangyoun Lee},
journal= {arXiv preprint arXiv:2212.04761},
year = {2023}
}
备注
Accepted by ICCV 2023