基于Leap Motion传感器与卷积神经网络的3D动态手势识别
计算机视觉与模式识别
2020-09-03 v3 机器学习
图像与视频处理
摘要
在许多应用场景以及虚拟现实应用中，定义自动理解手势的方法对于创建更自然、易用的人机交互方法至关重要。本文提出一种通过Leap Motion传感器采集的一组非静态手势的识别方法。将采集到的手势信息转换为彩色图像，其中手势过程中手部关节位置的变化被投影到平面上，时间信息由投影点的颜色强度表示。手势分类使用深度卷积神经网络（CNN）完成。采用流行的ResNet-50架构的改进版本，移除最后的 fully connected 层并添加一个神经元数量与所考虑手势类别数相同的新层。该方法已成功应用于现有参考数据集，并已对用户的动态手势实时识别进行了初步测试。
引用
@article{arxiv.2003.01450,
title = {3D dynamic hand gestures recognition using the Leap Motion sensor and convolutional neural networks},
author = {Katia Lupinetti and Andrea Ranieri and Franca Giannini and Marina Monti},
journal= {arXiv preprint arXiv:2003.01450},
year = {2020}
}
备注
Conference paper, 19 pages. UPDATE 20200311: changed in ref [19] 'International Journal of Engineering and Technology' -> ' International Journal of Engineering and Technology Innovation'. UPDATE 20200902: changed every LMHGD occurrence to LMDHG