基于骨架数据的人机交互直观手势识别
计算机视觉与模式识别
2020-08-27 v1 机器人学
摘要
人体手势识别在工业应用（如人机交互）中已占据关键地位。我们提出一种基于一组手工特征对动态手势进行分割与分类的方法，这些特征提取自 Kinect 传感器提供的骨架数据。手势检测模块依赖于一个执行逐帧二分类的前馈神经网络。手势识别方法应用滑动窗口，从空间与时间维度提取信息。随后我们组合不同持续时间的窗口以获得多时间尺度方法并额外提升性能。受近期循环神经网络在时间序列领域成功的鼓舞，我们还提出一种基于双向长短期记忆（Long Short-Term Memory）单元的同步手势分割与分类方法，其已展现出学习长时间尺度时间关系的能力。我们在 ChaLearn Looking at People Challenge 2014 发布的数据集上评估所有不同方法。最有效的方法取得了 0.75 的 Jaccard 指数，表明其性能几乎与最先进（SOTA）技术相当。最后，识别出的手势被用于与协作机器人交互。
引用
@article{arxiv.2008.11497,
title = {Gesture Recognition from Skeleton Data for Intuitive Human-Machine Interaction},
author = {André Brás and Miguel Simão and Pedro Neto},
journal= {arXiv preprint arXiv:2008.11497},
year = {2020}
}
备注
Transdisciplinary Engineering Methods for Social Innovation of Industry 4.0