GCN-DevLSTM：用于骨架动作识别的路径发展
计算机视觉与模式识别
2024-05-28 v2
摘要
视频中的骨架动作识别 (SAR) 是计算机视觉中一项重要但具有挑战性的任务。近期最先进的 (SOTA) SAR 模型主要基于图卷积神经网络 (GCN)，其在提取骨架数据的空间信息方面能力强大。然而，此类基于 GCN 的模型能否有效捕捉人体动作序列的时间动态仍不清楚。为此，我们提出了 G-Dev 层，该层利用路径发展——一种通过利用李群结构对序列数据进行原则性且简约的表示。通过集成 G-Dev 层，混合 G-DevLSTM 模块增强了传统 LSTM，以在保留高频信息的同时减少时间维度。它可以方便地应用于任何时间图数据，补充现有先进的基于 GCN 的模型。我们在 NTU60、NTU120 和 Chalearn2013 数据集上的实证研究表明，我们提出的 GCN-DevLSTM 网络持续改进了强大的 GCN 基线模型，并在 SAR 任务中取得了具有卓越鲁棒性的 SOTA 结果。代码可在 https://github.com/DeepIntoStreams/GCN-DevLSTM 获取。
引用
@article{arxiv.2403.15212,
title = {GCN-DevLSTM: Path Development for Skeleton-Based Action Recognition},
author = {Lei Jiang and Weixin Yang and Xin Zhang and Hao Ni},
journal= {arXiv preprint arXiv:2403.15212},
year = {2024}
}