HFGCN：面向骨架基动作识别的超图融合图卷积网络
计算机视觉与模式识别
2025-02-04 v3 机器学习
摘要
近年来，由于其在视频理解中重要作用，动作识别受到广泛关注和应用。大多数动作识别方法的研究聚焦于通过各种深度学习方法提高性能，而非对骨架点的分类。对骨架点与身体部位之间的拓扑关系建模较少见。虽然一些研究使用数据驱动方法对骨架拓扑进行分类，但未充分考虑骨架点在运动学上的本质。因此，本文借鉴运动学理论，适应骨架点拓扑关系，提出基于身体部位和身体核心距离的拓扑关系分类。为综合这些拓扑关系用于动作识别，我们提出了一种新型超图融合图卷积网络（HFGCN）。具体而言，所提模型能够同时关注人类骨架点和不同身体部位，从而构建拓扑结构，显著提高识别精度。我们使用超图表示这些骨架点的分类关系，并将其融合到图卷积网络中，以建模骨架点之间的高阶关系并增强网络的特征表示。此外，所提出的超图注意力模块和超图图卷积模块分别优化了在时间和通道维度上的拓扑建模，从而进一步增强网络的特征表示。我们在三个广泛使用的数据集上进行了大量实验。结果表明，所提方法可在与当前最先进骨架基方法相比时达到最佳性能。
引用
@article{arxiv.2501.11007,
title = {HFGCN:Hypergraph Fusion Graph Convolutional Networks for Skeleton-Based Action Recognition},
author = {Pengcheng Dong and Wenbo Wan and Huaxiang Zhang and Shuai Li and Sujuan Hou and Jiande Sun},
journal= {arXiv preprint arXiv:2501.11007},
year = {2025}
}