基于多分支时空注意力模型的孟加拉手语识别
计算机视觉与模式识别
2024-08-27 v1
摘要
手势-based sign language recognition (SLR) 是机器学习和计算机视觉中最先进的应用之一。尽管过去几年有许多研究者广泛探索和研究如何解决 BSL（孟加拉手语）问题，但仍存在未被解决的问题，如骨架和变换器-based BSL 识别。此外，对 BSL 模型在各种隐蔽环境条件下的评估不足，可能无法证明现有模型在应对日常语言中的泛化能力。因此，现有的 BSL 识别系统提供的视角有限，因其在包含少数 BSL 字母、手势差异大且容易区分的数据集上进行测试。为克服这些限制，我们提出一种基于手部关节骨架从图像序列中提取的时空注意力-based BSL 识别模型。利用手部骨架-based BSL 数据的主要目的是确保隐私和低分辨率图像序列，这需要最少的计算资源和低硬件配置。我们的模型捕获判别性结构位移和短程依赖关系，这些特征被投影到高维特征空间。具体而言，结合可分离 TCN 和强大的多头时空注意力架构可实现高性能准确率。通过与提议数据集和两个基准 BSL 数据集进行大量实验，包括内部和外部数据集评估设置，证明我们提出的模型在极低计算复杂度下实现了与现有模型竞争的性能，运行速度更快。
引用
@article{arxiv.2408.14111,
title = {Bengali Sign Language Recognition through Hand Pose Estimation using Multi-Branch Spatial-Temporal Attention Model},
author = {Abu Saleh Musa Miah and Md. Al Mehedi Hasan and Md Hadiuzzaman and Muhammad Nazrul Islam and Jungpil Shin},
journal= {arXiv preprint arXiv:2408.14111},
year = {2024}
}