基于MediaPipe和卷积神经网络的手语检测增强
摘要
本研究结合MediaPipe和卷积神经网络(CNN)，对美国手语(ASL)数据集进行高效且准确的实时手语检测与解释。本文提出的系统能够实时捕获和处理手部手势，旨在创建一种无需接触即可输入命令的简便、准确且快速的方法。MediaPipe提供了强大的实时手部追踪框架，能够捕获和预处理手部运动，从而提高了手势识别系统的准确性。实际上，将CNN与MediaPipe集成，提高了实时处理模型的使用效率。该模型在ASL数据集上达到了99.12%的准确率。我们使用美国手语(ASL)数据集对模型进行了测试，并使用既定的评估技术将结果与现有方法进行了比较，以评估其性能。该系统将在通信、教育和无障碍领域具有应用前景。改进此类系统将有助于听障人士并使其更易获取信息。我们基于MediaPipe和CNN，使用网络摄像头拍摄的手部图像测试了ASL数据集的识别和翻译性能，并取得了优于先前模型的准确率。本研究旨在通过基于MediaPipe和CNN的方法，利用网络摄像头拍摄的手部图像来识别美国手语字符。
引用
@article{arxiv.2406.03729,
title = {Enhancing Sign Language Detection through Mediapipe and Convolutional Neural Networks (CNN)},
author = {Aditya Raj Verma and Gagandeep Singh and Karnim Meghwal and Banawath Ramji and Praveen Kumar Dadheech},
journal= {arXiv preprint arXiv:2406.03729},
year = {2024}
}
备注
We have decided to withdraw our paper due to significant revisions and improvements that need to be made based on new findings. After further analysis, we believe these changes are necessary to ensure the accuracy and completeness of our work. We plan to resubmit the revised version in the future once the updates are complete