基于机器学习的印度手语检测与实时翻译

手势语言通过手势和身体动作进行交流，这些动作依赖于称为手语的视觉-空间模式。手语是 deaf & mute 社区的主要交流方式，全球范围内如此。然而，有效的交流对于人类互动至关重要，而这些社区中的个体常常因缺乏熟练的解释员和可接近的翻译技术而面临重大的沟通障碍。这项研究特别关注印度语境下的这些挑战，聚焦于印度手语 (ISL)。通过利用机器学习，本研究旨在弥合印度教区和聋人群体之间的沟通鸿沟，而印度语境下的 ISL 技术解决方案相较于其他全球手语而言，发展相对不足。我们提出了一个基于卷积神经网络 (CNN) 的健壮、实时 ISL 检测与翻译系统。该模型在全面的 ISL 数据集上进行训练，显示出卓越的性能，实现 99.95% 的分类准确率。这一高精度强调了该模型辨别不同手势细微视觉特征的能力。通过准确率、F1 分数、精确率和召回率等关键绩效指标对系统的有效性进行严格评估，确保其可靠性以适用于实际应用。对于实时实现，框架集成了 MediaPipe 进行精确的手部跟踪和运动检测，实现对动态手势的无缝翻译。这篇论文提供了模型体系结构、数据预处理管道和分类方法的详细说明。该研究阐述了用于增强 deaf & mute 社区沟通的模型体系结构、预处理和分类方法。