基于全局-局部对比学习的视角不变骨架动作识别
计算机视觉与模式识别
2022-09-26 v1
摘要
基于骨架的人体动作识别由于其对外观变化敏感度低以及更多骨架数据的可获取性，近来引起了更多关注。然而，即便实践中捕获的3D骨架，由于人体不同关节的遮挡以及人体关节定位中的误差，仍对视角和方向敏感。这种骨架数据的视角差异可能显著影响动作识别的性能。为解决此问题，本文提出一种新的视角不变表示学习方法，无需任何人工动作标注，用于基于骨架的人体动作识别。具体而言，我们在网络训练中利用为同一人同时获取的多视角骨架数据，通过最大化从不同视角提取的表示之间的互信息，进而提出一种全局-局部对比损失来建模空间和时间域中多尺度的共现关系。大量实验结果表明，所提方法对输入骨架数据的视角差异具有鲁棒性，并显著提升了无监督基于骨架的人体动作方法的性能，在PKUMMD和NTU RGB+D两个具有挑战性的多视角基准上取得了新的最先进准确率。
引用
@article{arxiv.2209.11634,
title = {View-Invariant Skeleton-based Action Recognition via Global-Local Contrastive Learning},
author = {Cunling Bian and Wei Feng and Fanbo Meng and Song Wang},
journal= {arXiv preprint arXiv:2209.11634},
year = {2022}
}