基于骨架的手势识别：采用路径签名特征与时序变换模块的多全连接层方法
计算机视觉与模式识别
2018-12-10 v2
摘要
基于骨架的手势识别因其广泛的可能应用而日益受到关注。关键问题是如何提取判别性特征以及如何设计分类模型。本文中，我们首先利用一种鲁棒的特征描述子——路径签名（PS），并提出三种PS特征来显式表示空间和时间运动特性，即空间PS（S_PS）、时间PS（T_PS）和时空PS（T_S_PS）。考虑到手部精细运动在手势中的重要性，我们提出“手部注意力”（AOH）原则来为S_PS定义关节对，并为T_PS选择单一关节。此外，采用二值方法提取T_PS和T_S_PS特征，以编码运动中的全局与局部时间动态。其次，在没有循环策略的情况下，分类模型仍面临不同序列间时间变化的挑战。我们提出一种新的时序变换模块（TTM），可通过为每个输入学习时间偏移参数来匹配序列关键帧。这是一个可纳入标准神经网络架构的基于学习的模块。最后，我们设计了一个基于多流全连接层的网络，分别处理空间和时间特征并将其融合得到最终结果。我们在三个基准手势数据集上测试了我们的方法，即ChaLearn 2016、ChaLearn 2013和MSRC-12。实验结果表明，我们在基于骨架的手势识别上以高计算效率取得了最先进（SOTA）性能。
引用
@article{arxiv.1811.07081,
title = {Skeleton-based Gesture Recognition Using Several Fully Connected Layers with Path Signature Features and Temporal Transformer Module},
author = {Chenyang Li and Xin Zhang and Lufan Liao and Lianwen Jin and Weixin Yang},
journal= {arXiv preprint arXiv:1811.07081},
year = {2018}
}
备注
Accepted by AAAI 2019