基于空间-结构图卷积的骨架动作识别
计算机视觉与模式识别
2024-08-01 v1 人工智能
摘要
人体活动识别（HAR）是一个专注于识别和分类人类活动的研究领域。基于骨架的人体活动识别近年来受到广泛关注，其中基于图卷积网络（GCN）的方法被广泛使用并取得了显著成果。然而，骨架数据的表示以及 GCN 中的过度平滑问题仍需要进一步研究。1）与中心节点相比，边节点只能聚合有限的邻居信息，且人体不同边节点之间始终存在结构关联。然而，边节点的信息对于细粒度活动识别至关重要。2）图卷积网络存在显著的过度平滑问题，导致节点随网络层数增加而变得越来越相似。基于这两个思路，我们提出了一种双流图卷积方法，称为空间-结构 GCN（SpSt-GCN）。空间 GCN 基于人体的拓扑结构进行信息聚合，结构 GCN 基于边节点序列的相似性进行区分。空间连接是固定的，无论人类执行何种动作，人体骨架自然保持这种拓扑结构。然而，结构连接是动态的，取决于人体执行的运动类型。基于这一思路，我们还提出了一种完全数据驱动的结构连接，大大增加了灵活性。我们在两个大规模数据集上评估了我们的方法，即 NTU RGB+D 和 NTU RGB+D 120。所提出的方法在保持高效的同时取得了良好的结果。
引用
@article{arxiv.2407.21525,
title = {Skeleton-Based Action Recognition with Spatial-Structural Graph Convolution},
author = {Jingyao Wang and Emmanuel Bergeret and Issam Falih},
journal= {arXiv preprint arXiv:2407.21525},
year = {2024}
}