基于深度神经网络的手语识别：使用迁移学习与可解释性的全面方法
计算机视觉与模式识别
2024-09-12 v1
摘要
为促进包容性，确保依赖手语作为主要沟通方式的人群能够有效沟通，手语识别 (SLR) 至关重要。手语识别 (SLR) 与多样化技术无缝融合，通过促进 deaf 社群使用数字平台、视频通话和通信设备，从而提高其可访问性。为了有效解决此问题，我们提出一种新方法，使用深度神经网络完全自动化手语识别。该方法整合了精细的预处理技术以优化整体性能。所用架构包括 resnet、inception、xception 和 vgg，用于选择性地对手语图像进行分类。我们准备了一种 DNN 架构并将其与预处理架构集成。在后处理阶段，我们利用基于合作博弈论的 SHAP 深度解释器来量化特定特征对机器学习模型输出的影响。用于训练和测试所建议技术的是布恩特-手语 (BSL) 数据集。在使用 BSL 数据集进行训练时，ResNet50 与 DNN 模型整体表现更佳，准确率为 98.90%。我们评估了该模型利用 SHAP（SHapley Additive exPlanations）方法提供的资讯清晰度。在其显著的鲁棒性和可靠性方面，本提出的方法可以用于开发一个完全自动化的手语识别系统。
引用
@article{arxiv.2409.07426,
title = {Deep Neural Network-Based Sign Language Recognition: A Comprehensive Approach Using Transfer Learning with Explainability},
author = {A. E. M Ridwan and Mushfiqul Islam Chowdhury and Mekhala Mariam Mary and Md Tahmid Chowdhury Abir},
journal= {arXiv preprint arXiv:2409.07426},
year = {2024}
}