面向一次性基于骨架的动作识别的部位感知原型图网络
计算机视觉与模式识别
2022-08-22 v1 人机交互
多媒体
摘要
本文研究一次性基于骨架的动作识别问题，该问题在从基类到新类学习可迁移表示方面存在独特挑战，尤其对于细粒度动作。现有的元学习框架通常依赖于空间维度上的身体级表示，这限制了对细粒度标签空间中细微视觉差异的泛化捕捉能力。为克服上述局限，我们提出了一种面向一次性基于骨架的动作识别的部位感知原型表示。我们的方法在两个不同的空间层级捕捉骨架运动模式：一个用于所有身体关节间的全局上下文，称为身体级；另一个关注身体部位的局部空间区域，称为部位级。我们还设计了一种类无关的注意力机制，以突出每个动作类的重要部位。具体而言，我们构建了一个部位感知原型图网络，包含三个模块：用于双层级建模的级联嵌入模块、基于注意力的部位融合模块（用于融合部位并生成部位感知原型），以及使用部位感知表示进行分类的匹配模块。我们在两个公开的基于骨架的动作识别数据集 NTU RGB+D 120 和 NW-UCLA 上验证了方法的有效性。
引用
@article{arxiv.2208.09150,
title = {Part-aware Prototypical Graph Network for One-shot Skeleton-based Action Recognition},
author = {Tailin Chen and Desen Zhou and Jian Wang and Shidong Wang and Qian He and Chuanyang Hu and Errui Ding and Yu Guan and Xuming He},
journal= {arXiv preprint arXiv:2208.09150},
year = {2022}
}
备注
one-shot, action recognition, skeleton, part-aware, graph