基于骨架数据的共现特征学习及其分层聚合在动作识别与检测中的应用
计算机视觉与模式识别
2018-04-18 v1
摘要
基于骨架的人体动作识别随着大规模骨架数据集的出现近来受到越来越多的关注。该任务最关键的要素在于两方面：用于关节共现的帧内表示，以及用于骨架时间演化的帧间表示。本文提出一种端到端的卷积共现特征学习框架。共现特征以分层方法学习，其中不同层次的上下文信息被逐步聚合。首先独立编码每个关节的点级信息，随后在时空域中组装为语义表示。具体而言，我们引入一种全局空间聚合方案，能够比局部聚合学习到更优的关节共现特征。此外，原始骨架坐标及其时间差分以双流范式进行整合。实验表明，我们的方法在 NTU RGB+D、SBU Kinect Interaction 和 PKU-MMD 等动作识别与检测基准上持续优于其他 SOTA 方法。
引用
@article{arxiv.1804.06055,
title = {Co-occurrence Feature Learning from Skeleton Data for Action Recognition and Detection with Hierarchical Aggregation},
author = {Chao Li and Qiaoyong Zhong and Di Xie and Shiliang Pu},
journal= {arXiv preprint arXiv:1804.06055},
year = {2018}
}
备注
IJCAI18 oral