基于深度学习与 XAI 提升阿拉伯手势语言识别的革命性方法
计算机视觉与模式识别
2025-01-15 v1 人工智能
计算机与社会
机器学习
摘要
本研究提出一种用于识别阿拉伯手势语言（ArSL）的集成方法，运用诸如 MobileNetV3、ResNet50 和 EfficientNet-B2 等最先进深度学习模型，并通过可解释人工智能（XAI）技术进一步提升可解释性。采用 ArSL2018 和 RGB 阿拉伯字母手势语言（AASL）数据集，EfficientNet-B2 分别实现了最高达 99.48% 和 98.99% 的识别准确率。关键创新包括：采用精细化数据增强方法以缓解类别不平衡，实施分层 5 折交叉验证以提升泛化能力，并使用 Grad-CAM 实现模型决策的透明化。该提议系统不仅在识别准确率上树立了新的基准，还强调了可解释性，使其适用于医疗保健、教育和包容性通信技术等应用场景。
引用
@article{arxiv.2501.08169,
title = {Revolutionizing Communication with Deep Learning and XAI for Enhanced Arabic Sign Language Recognition},
author = {Mazen Balat and Rewaa Awaad and Ahmed B. Zaky and Salah A. Aly},
journal= {arXiv preprint arXiv:2501.08169},
year = {2025}
}
备注
13 pages, 25 figures, 16 tables