基于骨架的动作识别的动作-结构图卷积网络
计算机视觉与模式识别
2019-04-30 v1 人工智能
摘要
基于骨架数据的动作识别近年来在计算机视觉领域引起了广泛关注。以往研究大多基于固定的骨架图，仅捕捉关节间的局部物理依赖，可能遗漏隐式的关节关联。为捕捉更丰富的依赖关系，我们引入一种称为A-link推断模块的编码器-解码器结构，直接从动作中捕获特定于动作的潜在依赖，即动作链接。我们还将现有骨架图扩展以表示高阶依赖，即结构链接。将这两类链接组合为广义骨架图后，我们进一步提出动作-结构图卷积网络（AS-GCN），其将动作-结构图卷积与时间卷积堆叠作为基本构建块，以学习用于动作识别的空间与时间特征。在识别头并行添加一个未来姿态预测头，通过自监督帮助捕获更细致的动作模式。我们在两个骨架数据集NTU-RGB+D和Kinetics上验证AS-GCN用于动作识别。所提出的AS-GCN相比最先进的方法取得了持续的大幅提升。作为副产品，AS-GCN在未来姿态预测上也展示了有前景的结果。
引用
@article{arxiv.1904.12659,
title = {Actional-Structural Graph Convolutional Networks for Skeleton-based Action Recognition},
author = {Maosen Li and Siheng Chen and Xu Chen and Ya Zhang and Yanfeng Wang and Qi Tian},
journal= {arXiv preprint arXiv:1904.12659},
year = {2019}
}
备注
Accepted by CVPR 2019