转换视角以辨识差异：一种基于骨架动作识别的新颖多视角方法
计算机视觉与模式识别
2023-09-06 v1 机器学习
图像与视频处理
摘要
基于骨架的人体动作识别因其复杂动态性而是一项长期挑战。动态的一些细粒度细节在分类中起着至关重要的作用。现有工作主要侧重于设计具有更复杂邻接矩阵的增量神经网络以捕获关节关系的细节。然而，它们仍难以区分具有广泛相似运动模式但属于不同类别的动作。有趣的是，我们发现运动模式中的细微差异可通过指定视角方向被显著放大，并变得易于被观察者区分，而该性质此前未被充分探索。与以往工作截然不同，我们通过提出一种概念简单却有效的多视角策略来提升性能，该策略从一组动态视角特征中识别动作。具体而言，我们设计了一种新颖的骨架锚点提议（SAP）模块，其包含多头结构以学习一组视角。针对不同视角的特征学习，我们引入一种新颖的角度表示，将不同视角下的动作进行变换，并将变换送入基线模型。我们的模块可与现有动作分类模型无缝协作。结合基线模型，我们的 SAP 模块在许多具挑战性的基准上展现出明显的性能增益。此外，综合实验表明，我们的模型持续击败当前最优方法，并在处理损坏数据时尤其保持有效与鲁棒。相关代码将发布于 https://github.com/ideal-idea/SAP 。
引用
@article{arxiv.2209.02986,
title = {Shifting Perspective to See Difference: A Novel Multi-View Method for Skeleton based Action Recognition},
author = {Ruijie Hou and Yanran Li and Ningyu Zhang and Yulin Zhou and Xiaosong Yang and Zhao Wang},
journal= {arXiv preprint arXiv:2209.02986},
year = {2023}
}