面向基于骨架的动作识别的判别性表示学习
计算机视觉与模式识别
2023-03-29 v3
摘要
人体动作识别旨在从一段视频中分类人体动作的类别。近来，人们致力于设计基于 GCN 的模型从骨架中提取特征以完成该任务，因为骨架表示比其他模态（如 RGB 帧）更高效且鲁棒。然而，在使用骨架数据时，一些重要线索（如相关物品）也被丢弃，导致一些模糊动作难以区分且易被误分类。为缓解该问题，我们提出辅助特征细化头（FR Head），由时空解耦与对比特征细化组成，以获得骨架的判别性表示。模糊样本在特征空间中被动态发现并校准。此外，FR Head 可施加于 GCN 的不同阶段以构建多级细化从而实现更强监督。在 NTU RGB+D、NTU RGB+D 120 和 NW-UCLA 数据集上进行了大量实验。我们提出的模型取得了与 SOTA 方法竞争的成果，并有助于区分那些模糊样本。代码见 https://github.com/zhysora/FR-Head。
引用
@article{arxiv.2303.03729,
title = {Learning Discriminative Representations for Skeleton Based Action Recognition},
author = {Huanyu Zhou and Qingjie Liu and Yunhong Wang},
journal= {arXiv preprint arXiv:2303.03729},
year = {2023}
}
备注
Accepted by CVPR2023. 10 pages, 5 figures, 5 tables