BAUST Lipi：基于深度学习的孟加拉手语识别数据集 BdSL
计算机视觉与模式识别
2024-08-21 v1
摘要
人们通常通过多种媒介使用英语、阿拉伯语和孟加拉语口语进行交流。然而，聋人和听障人士主要使用肢体语言和手语来表达需求并实现独立。手语研究正蓬勃发展，以增强与聋人社区的交流。尽管许多研究者在识别法语、英国手语、阿拉伯语、土耳其语和美国手语等手语方面取得了进展，但对孟加拉手语（BdSL）的研究有限，且结果不尽如人意。一个主要障碍是缺乏全面的孟加拉手语数据集。在我们的工作中，我们引入了一个新的 BdSL 数据集，包含共计 18000 张图像，每张图像大小为 224×224 像素。我们的数据集涵盖 36 个孟加拉符号，其中 30 个是辅音，其余 6 个是元音。尽管我们贡献了数据集，许多现有系统仍难以实现高精度的 BdSL 识别。为解决这一问题，我们设计了一种混合卷积神经网络（CNN）模型，集成了多个卷积层、激活函数、dropout 技术和 LSTM 层。使用新创建的 BdSL 数据集评估我们的混合 CNN 模型后，我们实现了 97.92% 的准确率。我们相信，我们的 BdSL 数据集和混合 CNN 模型将被公认为 BdSL 研究的重要里程碑。
引用
@article{arxiv.2408.10518,
title = {BAUST Lipi: A BdSL Dataset with Deep Learning Based Bangla Sign Language Recognition},
author = {Md Hadiuzzaman and Mohammed Sowket Ali and Tamanna Sultana and Abdur Raj Shafi and Abu Saleh Musa Miah and Jungpil Shin},
journal= {arXiv preprint arXiv:2408.10518},
year = {2024}
}