用于基于骨架动作识别的一维卷积神经网络集成
计算机视觉与模式识别
2018-08-01 v2
摘要
本文中，我们提出了一个有效且可扩展的残差一维卷积神经网络作为基础网络，基于该网络，我们提出四个子网络以从各方面探索骨架序列的特征。给定骨架序列，空间信息被编码入一帧中的骨架关节坐标，时间信息由多帧呈现。受骨架序列表示限制，二维卷积神经网络无法直接应用，我们选择一维卷积层作为基本层。每个子网络可从不同方面提取判别性特征。我们的第一个子网络为双流网络，可探索时间与空间信息。第二个为身体部位分割网络，可获取微观空间特征与宏观时间特征。第三个为注意力网络，其主要贡献在于聚焦骨架序列中与动作类别高度相关的关键帧与特征通道。作为最后一个子网络的帧差网络主要处理连续帧间的关节变化。四个子网络通过后期融合集成，集成方法的关键问题在于每个子网络应具备一定性能且子网络间存在多样性。每个子网络共享性能良好的基础网络，子网络间差异保证了多样性。实验结果表明，该集成网络在三个广泛使用的数据集上取得了最先进性能。
引用
@article{arxiv.1801.02475,
title = {Ensemble One-dimensional Convolution Neural Networks for Skeleton-based Action Recognition},
author = {Yangyang Xu and Lei Wang},
journal= {arXiv preprint arXiv:1801.02475},
year = {2018}
}
备注
the title of Table 3 has something wrong and the expermient is not enough