通过实时巴勃斯坦手势语言识别提升听力受损学生的数学学习：一个新数据集
计算与语言
2025-08-08 v1 计算机与社会
人机交互
摘要
本研究旨在通过开发准确的巴勃斯坦手势语言（PSL）识别系统，提升听力受损学生的数学教育可访问性。由于 PSL 可用的数字资源稀缺，本研究创建了包含 41 个数学手势类别的自定义数据集，并由 PSL 专家记录，以确保语言准确性和领域特定性。为利用最先进的计算机视觉技术，对 Vision Transformer ViTModel 进行了微调用于手势分类。该模型实现了 97.59% 的准确率，证明其在识别数学手势方面具有高精度和可靠性。本研究突显了深度学习在开发智能教育工具中发挥作用的作用，这些工具为听力受损学生提供 AI 驱动的交互解决方案，以增强数学理解。本工作是创新和包容性数字化集成向专业学习环境迈出的重要一步。该数据集托管在Hugging Face上，网址为 https://huggingface.co/datasets/fidaakh/STEM_data
引用
@article{arxiv.2505.17055,
title = {Enhancing Mathematics Learning for Hard-of-Hearing Students Through Real-Time Palestinian Sign Language Recognition: A New Dataset},
author = {Fidaa Khandaqji and Huthaifa I. Ashqar and Abdelrahem Atawnih},
journal= {arXiv preprint arXiv:2505.17055},
year = {2025}
}