利用循环神经网络和Leap Motion控制器进行手语和信号手势识别
计算机视觉与模式识别
2019-07-26 v1
摘要
在人类交互中，手是表达信息的有力方式，在某些情况下可以作为声音的有效替代，如手语。手势识别一直是计算机视觉和多媒体领域的有趣课题。这些手势可以表示为随时间变化的特征向量集合。循环神经网络（RNN）因其对时间序列长期上下文信息的建模能力而适合分析这类集合。本文中，RNN使用人类手指骨骼形成的角度作为特征进行训练。所选特征由Leap Motion控制器（LMC）传感器获取，因为大多数人类手势会产生关节运动，从而形成真正有特征的夹角。使用由美国手语（ASL）定义的大量手势组成的具有挑战性的子集来测试所提出的解决方案和所选角度的有效性。此外，所提出的方法与SHREC数据集上的其他最先进工作进行了比较，证明了在手势识别准确性上的优越性。
引用
@article{arxiv.1803.10435,
title = {Exploiting Recurrent Neural Networks and Leap Motion Controller for Sign Language and Semaphoric Gesture Recognition},
author = {Danilo Avola and Marco Bernardi and Luigi Cinque and Gian Luca Foresti and Cristiano Massaroni},
journal= {arXiv preprint arXiv:1803.10435},
year = {2019}
}