重访基于骨架的动作识别
计算机视觉与模式识别
2022-04-05 v2
摘要
人体骨架作为人体动作的紧凑表示，近年来受到越来越多的关注。许多基于骨架的动作识别方法采用图卷积网络 (GCN) 在人体骨架上提取特征。尽管先前工作展示了积极结果，基于 GCN 的方法在鲁棒性、可互操作性和可扩展性方面存在局限。本工作中，我们提出 PoseC3D，一种基于骨架的动作识别新方法，其依赖 3D 热图栈而非图序列作为人体骨架的基础表示。与基于 GCN 的方法相比，PoseC3D 在学习时空特征上更有效，对姿态估计噪声更鲁棒，并在跨数据集设定下泛化更好。此外，PoseC3D 能以无额外计算成本处理多人场景，且其特征可在早期融合阶段轻易与其他模态集成，这为进一步提升性能提供了极大的设计空间。在四个具挑战性数据集上，PoseC3D 单独用于骨架以及与 RGB 模态结合时均一致取得优越性能。
引用
@article{arxiv.2104.13586,
title = {Revisiting Skeleton-based Action Recognition},
author = {Haodong Duan and Yue Zhao and Kai Chen and Dahua Lin and Bo Dai},
journal= {arXiv preprint arXiv:2104.13586},
year = {2022}
}
备注
CVPR 2022 Oral