手语到孟加拉语语音：一种基于视觉的深度学习系统用于识别手语数字并生成孟加拉语语音
计算机视觉与模式识别
2023-05-12 v1
摘要
在计算机视觉领域，深度神经网络的近期进展使我们得以探索并攻克许多曾因缺乏必要技术而未被关注的既有挑战。手语/手势识别是深度神经网络正产生重大影响的重要领域之一。过去几年中，已有大量研究致力于识别手语与手势，我们旨在将其拓展至我们的母语孟加拉语（又称 Bengali）。我们工作的主要目标是制作一款自动化工具，以辅助无法说话的人群。我们开发了一个系统，可自动检测基于手语的数字，并以孟加拉语播报结果。根据世界卫生组织（WHO）的报告，全球 15% 的人患有某种残疾。其中，患有沟通障碍（如言语残疾）的个体在社会交往中遭遇显著壁垒。所提出的系统可为缓解此类壁垒提供宝贵价值。该系统的核心构建于基于卷积神经网络（CNN）的深度学习模型之上。该模型在验证数据上对基于手语的数字分类准确率达 92%，确保了其高度可信。数字分类完成后，所得输出被送入文本转语音引擎及后续的翻译单元，最终生成孟加拉语音频输出。用于演示我们工具的 Web 应用可在 http://bit.ly/signdigits2banglaspeech 获取。
引用
@article{arxiv.1901.05613,
title = {Hand Sign to Bangla Speech: A Deep Learning in Vision based system for Recognizing Hand Sign Digits and Generating Bangla Speech},
author = {Shahjalal Ahmed and Md. Rafiqul Islam and Jahid Hassan and Minhaz Uddin Ahmed and Bilkis Jamal Ferdosi and Sanjay Saha and Md. Shopon},
journal= {arXiv preprint arXiv:1901.05613},
year = {2023}
}