连点成线：利用时空图神经网络实现精确的孟加拉手语识别
计算机视觉与模式识别
2024-01-23 v1
摘要
深度学习和计算机视觉的最新进展已被成功用于服务各种背景下的边缘化社区。其中一个领域是手语——聋人社区的主要交流方式。然而，迄今为止，大部分研究工作和投入都集中在美国手语上，而对低资源手语——尤其是孟加拉手语（BdSL）——的研究活动明显滞后。在本研究论文中，我们提出了一个新的单词级孟加拉手语数据集——BdSL40——包含40个单词的611个视频，以及两种不同的方法：一种使用3D卷积神经网络模型，另一种使用新颖的图神经网络方法对BdSL40数据集进行分类。这是首次对单词级BdSL识别的研究，该数据集是根据孟加拉手语词典（1997年）从印度手语（ISL）转录而来。所提出的GNN模型取得了89%的F1分数。该研究强调了BdSL、西孟加拉邦手语和ISL之间显著的词汇和语义相似性，以及文献中缺乏单词级BdSL数据集的问题。我们发布了该数据集和源代码以促进进一步的研究。
引用
@article{arxiv.2401.12210,
title = {Connecting the Dots: Leveraging Spatio-Temporal Graph Neural Networks for Accurate Bangla Sign Language Recognition},
author = {Haz Sameen Shahgir and Khondker Salman Sayeed and Md Toki Tahmid and Tanjeem Azwad Zaman and Md. Zarif Ul Alam},
journal= {arXiv preprint arXiv:2401.12210},
year = {2024}
}