FineHand：用于美国手语识别的手形学习
计算机视觉与模式识别
2020-03-20 v1 人机交互
机器学习
机器学习
摘要
美国手语识别是一个困难的手势识别问题，其特征是快速且高度清晰的手势。这些手势由手臂运动结合不同手形、面部表情和头部运动组成。在这些组成部分中，手形是手势中至关重要且通常最具判别力的部分。在本工作中，我们提出了一种有效学习手形嵌入的方法，这些嵌入对美国手语（ASL）手势具有判别性。对于手形识别，我们的方法混合使用人工标注的手形和高置信度预测来训练深度卷积神经网络（CNN）。序列手势成分由在第一阶段学到的嵌入上训练的递归神经网络（RNN）捕获。我们将证明，在具有不同说话者、不同光照和显著运动模糊的困难条件下，更高质量的手形模型能显著提升最终视频手势分类的准确率。我们将我们的模型与利用不同模态和数据表示的替代方法进行比较，并在GMU-ASL51基准数据集上展示了改进的视频手势识别准确率。
引用
@article{arxiv.2003.08753,
title = {FineHand: Learning Hand Shapes for American Sign Language Recognition},
author = {Al Amin Hosain and Panneer Selvam Santhalingam and Parth Pathak and Huzefa Rangwala and Jana Kosecka},
journal= {arXiv preprint arXiv:2003.08753},
year = {2020}
}