基于 Transformer 的多流方法用于孤立伊朗手语识别

手语是全球数百万人使用的重要交流方式，也是他们的主要语言。然而，大多数通信工具是为讲话人和书面语言开发的，这会给听力受损者社区带来问题和困难。通过开发手语识别系统，我们可以弥合这一沟通鸿沟，使使用手语作为主要表达方式的人能够更好地与他人及其周围环境沟通。该识别系统提高了医疗服务质量，改善了公共服务，为聋人社区创造了平等机会。本研究旨在利用最新的深度学习工具，如 Transformer，识别伊朗手语单词。所用数据集包括101个常用于高校等学术环境中的伊朗手语单词。所使用的网络是结合早期融合和晚期融合的基于 Transformer 编码器的网络，通过遗传算法进行优化。本网络的训练特征包括手部和嘴部关键点，以及从手语视频中提取的手部之间的距离和角度。此外，除了用于训练类别的模型外，还使用单词的嵌入向量进行多任务学习，以获得更平滑和更高效的训练。在测试数据上 achieves 90.2% accuracy. 最后，介绍了一款提供实时反馈的用户手语训练软件，该软件被用于从单词数据集生成的句子进行句子翻译测试。最后，在一项调查中，研究了这种手语学习软件的有效性和效率，以及反馈的影响。