用于高效基于骨架动作识别的拓扑感知卷积神经网络
计算机视觉与模式识别
2021-12-10 v2
摘要
在基于骨架的动作识别背景下，图卷积网络（GCN）得到了快速发展，而卷积神经网络（CNN）则较少受到关注。原因之一是CNN被认为在建模不规则骨架拓扑方面表现不佳。为缓解这一局限性，本文提出了一种名为拓扑感知CNN（Ta-CNN）的纯CNN架构。具体而言，我们开发了一个新颖的跨通道特征增强模块，它是映射-注意力-分组-映射操作的组合。通过将该模块依次应用于坐标级别和关节级别，拓扑特征得到了有效增强。值得注意的是，我们在理论上证明了，当将关节维度视为通道时，图卷积是普通卷积的一个特例。这证实了GCN的拓扑建模能力同样可以通过使用CNN来实现。此外，我们创新性地设计了一种SkeletonMix策略，以独特的方式混合两个人并进一步提升性能。在四个广泛使用的数据集（即N-UCLA、SBU、NTU RGB+D和NTU RGB+D 120）上进行了大量实验，以验证Ta-CNN的有效性。我们显著超越了现有的基于CNN的方法。与领先的基于GCN的方法相比，我们在所需GFLOPs和参数方面以更低的复杂度实现了可比的性能。
引用
@article{arxiv.2112.04178,
title = {Topology-aware Convolutional Neural Network for Efficient Skeleton-based Action Recognition},
author = {Kailin Xu and Fanfan Ye and Qiaoyong Zhong and Di Xie},
journal= {arXiv preprint arXiv:2112.04178},
year = {2021}
}
备注
Accepted by AAAI 2022