演化骨架：动作识别中的运动动力学
计算机视觉与模式识别
2025-02-25 v3 人工智能
机器学习
摘要
基于骨架的动作识别因其能够以轻量级格式高效表示时空信息而受到广泛关注。现有大多数方法使用基于图的模型来处理骨架序列，其中每个姿态被表示为围绕人体物理连接性构建的骨架图。其中，时空图卷积网络（ST-GCN）已成为广泛使用的框架。另外，基于超图的模型（如 Hyperformer）能够捕捉高阶相关性，为复杂的关节交互提供了更具表达力的表示。一项名为 Taylor Videos 的最新进展通过嵌入运动概念引入了运动增强的骨架序列，为在基于骨架的动作识别中解释人类动作提供了新视角。在本文中，我们使用 ST-GCN 和 Hyperformer 模型在 NTU-60 和 NTU-120 数据集上对传统骨架序列和 Taylor 变换骨架进行了全面评估。我们比较了骨架图和超图表示，分析了静态姿态与注入运动的姿态。我们的发现突出了 Taylor 变换骨架的优势与局限性，展示了其增强运动动力学的潜力，同时揭示了在充分利用其优势方面面临的当前挑战。本研究强调需要创新的骨架建模技术，以有效处理富含运动的数据并推动动作识别领域的发展。
引用
@article{arxiv.2501.02593,
title = {Evolving Skeletons: Motion Dynamics in Action Recognition},
author = {Jushang Qiu and Lei Wang},
journal= {arXiv preprint arXiv:2501.02593},
year = {2025}
}
备注
Accepted at the Companion Proceedings of the ACM Web Conference (WWW Companion 2025)