BdSpell：基于YOLO的孟加拉手语实时手指拼写系统
计算机视觉与模式识别
2023-09-26 v1
摘要
在孟加拉手语(BdSL)翻译领域，先前的方法常给用户带来负担，要求他们拼写不含隐藏字符的单词，随后因BdSL36数据集中缺失类别而使用孟加拉语语法规则进行纠正。然而，该方法在准确猜测单词错误拼写上面临挑战。为克服此局限，我们提出了一种基于YOLOv5架构的新型实时手指拼写系统。我们的系统采用指定规则与数字类别作为触发器，高效生成隐藏与复合字符，消除了额外类别的必要性并显著提升了用户便利性。值得注意的是，我们的方法以98%的惊人准确率在1.32秒内完成字符拼写。此外，我们在9147张图像上训练的YOLOv5模型展现出96.4%的优异平均精度均值(mAP)。这些进展代表了增强BdSL翻译的重大进步，有望为语言少数群体带来更高的包容性与可及性。这一以兼容现有YOLO版本为特征的创新框架，成为提升孟加拉手语社群沟通方式与语言公平性的变革性里程碑。
引用
@article{arxiv.2309.13676,
title = {BdSpell: A YOLO-based Real-time Finger Spelling System for Bangla Sign Language},
author = {Naimul Haque and Meraj Serker and Tariq Bin Bashar},
journal= {arXiv preprint arXiv:2309.13676},
year = {2023}
}