使用CNN与LSTM的埃及手语识别
计算机视觉与模式识别
2021-12-27 v1
摘要
手语是聋人用来交流的一组手势。遗憾的是，正常人无法理解手语，这造成了需要弥补的沟通鸿沟。由于埃及手语(ESL)在不同地区间存在差异，ESL提供了一个具有挑战性的研究问题。在这项工作中，我们提供了一项应用研究及其基于视频的埃及手语识别系统，服务于埃及当地聋人社区，具有适中且合理的准确率。我们提出了一个具有两种不同神经网络架构的计算机视觉系统。第一种是用于提取空间特征的卷积神经网络(CNN)。该CNN模型在inception模块上进行了重训练。第二种架构是CNN后接长短期记忆(LSTM)，用于提取空间和时间特征。两个模型分别达到了90%和72%的准确率。我们检验了这两种架构区分埃及部分聋人社区中9个常见词(具有相似手势)的能力。
引用
@article{arxiv.2107.13647,
title = {Egyptian Sign Language Recognition Using CNN and LSTM},
author = {Ahmed Elhagry and Rawan Glalal Elrayes},
journal= {arXiv preprint arXiv:2107.13647},
year = {2021}
}