用于基于骨架动作识别的时空关节密度驱动学习
计算机视觉与模式识别
2025-05-30 v1
摘要
传统基于骨架动作分类的无监督或自监督学习方法主要集中于骨架序列的动态方面。然而，骨架的运动和静态元素之间复杂的交互作用为动作分类提供了极少被发掘的判别潜力。本文引入了一种称为时空关节密度（STJD）的新度量来量化这种交互作用。追踪该密度在整个动作过程中的演变，可以有效地识别出被称为“主关节”的具有判别性的运动和/或静态关节子集，以指导自监督学习。提出了一种名为 STJD-CL 的新型对比学习策略，将骨架序列的表示与其主关节的表示对齐，同时对比主关节与非主关节的表示。此外，通过将其与基于重建的框架相集成，开发了一种名为 STJD-MP 的方法以实现更有效的学习。在 NTU RGB+D 60、NTU RGB+D 120 和 PKUMMD 数据集上的各种下游任务的实验评估表明，所提出的 STJD-CL 和 STJD-MP 提升了性能，特别是在 NTU RGB+D 120 数据集上使用 X-sub 和 X-set 评估时，分别比最先进的对比方法提高了 3.5 和 3.6 个百分点。
引用
@article{arxiv.2505.23012,
title = {Spatio-Temporal Joint Density Driven Learning for Skeleton-Based Action Recognition},
author = {Shanaka Ramesh Gunasekara and Wanqing Li and Philip Ogunbona and Jack Yang},
journal= {arXiv preprint arXiv:2505.23012},
year = {2025}
}