一种用于基于姿态的手势识别的双流神经网络
计算机视觉与模式识别
2021-01-25 v1 机器学习
多媒体
摘要
基于姿态的手势识别近年来被广泛研究。与全身动作识别相比,手势涉及的关节空间分布更紧密且协作性更强。这一特性要求采用不同于动作识别的方法来捕获复杂的空间特征。许多手势类别(如“抓取”和“捏合”)具有非常相似的运动或时间模式,给时间处理带来挑战。为应对这些挑战,本文提出一种双流神经网络:其中一支为基于自注意力的图卷积网络(SAGCN),提取短期时间信息与时序分层空间信息;另一支为残差连接增强的双向独立循环神经网络(RBi-IndRNN),提取长期时间信息。基于自注意力的图卷积网络具有动态自注意力机制,除GCN中固定的拓扑和局部特征提取外,可自适应地利用所有手部关节之间的关系。另一方面,残差连接增强的Bi-IndRNN扩展了IndRNN的双向处理能力以进行时间建模。两流融合用于识别。Dynamic Hand Gesture 数据集和 First-Person Hand Action 数据集被用于验证其有效性,我们的方法取得了最优性能。
引用
@article{arxiv.2101.08926,
title = {A Two-stream Neural Network for Pose-based Hand Gesture Recognition},
author = {Chuankun Li and Shuai Li and Yanbo Gao and Xiang Zhang and Wanqing Li},
journal= {arXiv preprint arXiv:2101.08926},
year = {2021}
}